[GENIAC採択プロジェクト紹介] 国境を越えた価値循環を加速させる「AIロボットによる出品・検品作業の自動化プロジェクト」とは？
このたび、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する、国内の生成AIの開発力強化と社会実装の促進を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」に、R4Dの研究が採択されることとなりました。
本記事では、今回採択されたR4Dの研究がどのようなものかを詳しく解説していきます。
メルカリの「越境取引」を支える出品・検品作業をAIロボットで自動化
今回のプロジェクトの目的を一言でまとめると、メルカリの越境取引における出品・検品作業を自動化することです。
メルカリは、国境を超えたあらゆるものの循環を目指し、越境取引の拡大に取り組んでいます。2025年9月に海外の購入者と日本の利用者がよりかんたんかつ安心・安全に取引できる世界共通アプリ「メルカリ グローバルアプリ」の提供を開始し、現在、台湾・香港・米国にて展開する同アプリを中長期的には100以上の国や地域に拡大していくことを目指しています。
※参照：メルカリ、米国で世界共通アプリ「メルカリ グローバルアプリ」提供開始
こうした拡大期にある越境取引を支える重要な機能の一つがメルカリの検品・配送拠点です。安心安全な越境取引実現のため、海外から購入されたものは一度日本国内にあるメルカリの拠点に集約され、そこで検品作業を行ったのちに海外へ発送されます。
現在、人の手によって行われているこれらの作業をフィジカルAIを用いて自動化し、物流オペレーションの効率化を図るのが今回のプロジェクトです。
多様な商品を扱う難しさ
今回の自動化の対象となる検品・出品作業がどのようなものか、また、ロボットを用いた自動化の際に困難な点を説明します。
検品・出品作業では、拠点に送られてきた対象商品を箱から一度取り出し、複数の視点から写真を撮影するとともに、出品物の状態（傷や汚れの有無など）を確認し、出品時の商品ページの情報と比較・照合して相違がないかを確認した上で、対象商品をそれぞれのサイズや形状に適した箱へ梱包します。
例えば、靴の検品作業では、以下のようなステップとなります。
- 箱を開ける
- 中紙を開ける
- 靴を取り出す
- 靴の全面を確認する（写真を撮る）
- 靴を戻す
- もう片方の靴でも3-5を繰り返す
- 中紙を閉じる
- 箱を閉める
人にとっては簡単な作業に見えるかもしれませんが、これらをロボットで自動化しようとすると、作業のマニュアル化が難しいという壁にぶつかります。
なぜならメルカリの検品・配送拠点では多様なカテゴリの商品を扱うため、集まる商品の状態や形状がバラバラだからです。布やカバンなどの柔らかい物を扱うこともあれば、ボタン・ファスナーなどの操作を伴う作業も発生します。
このような多品種で形状が不揃いな物体（特に柔軟物）を取り扱う非定型作業は、従来のモデルベースのロボット制御（あらかじめ決められた動きをプログラムしてその通りに動かすというアプローチ）では自動化することが非常に困難です。
一方、近年ロボット制御の新たなパラダイムとして、Vision-Language-Action（以下、VLA）モデルが登場しています。VLAモデルとは、カメラから取得した映像情報と人から与えられた自然言語による指示を理解し、物理空間でロボットの行動を生成することができるAIモデルです。これにより、ロボットで自動化できる作業の幅が大きく広がっています。
しかし、現在のVLAモデルを今回の検品・出品作業に適用するとしても以下の3つの問題点が発生します。
- ロボットの行動が視覚（カメラ）情報頼りとなり、商品の手触りや手応えを踏まえた絶妙な力加減ができない（例えば、カバンのボタンの開閉など力加減を要する制御は難しい）
- 学習したときのカメラアングルが実用の際に少しでも変わってしまうだけで、学習したロボットが適切な動作をできなくなる
- ロボットのテレオペレーション操作によるデータ収集は効率が悪い
現在のVLAモデルの限界を突破する3つの技術的アプローチ
本プロジェクトでは、先に挙げた3つの問題点に対して以下の技術的アプローチにより、現在のVLAモデルの限界を突破し、メルカリの検品・出品作業を自動化するフィジカルAI基盤を開発することを目指します。
①触覚・力覚を統合したマルチモーダルVLAへの拡張
力覚センサ・触覚センサをとりつけたロボットアームを用いることで、視覚だけでは捉えにくい接触状態や力加減を視覚・言語と紐づけて学習させることで、微細な力加減が必要な作業を行えるフィジカルAIモデルを構築します。
②視点変化に強い Camera Aware VLAの開発
カメラ配置の変化で性能が落ちる現在のVLAモデルの視点依存性を克服すべく、推論時の任意の視点映像を、学習時の視点映像にAIを用いて変換し、合成します。推論時と学習時の画像の見え方を一致させることで、カメラの配置変化に脆弱であったVLAの課題解決を図ります。
③人間の作業感覚を転移するデータ収集基盤の構築
スマートグラスやUMI（Universal Manipulation Interface）といった専用インターフェースを活用し、一人称視点映像と触覚・力覚データを同期して収集する基盤を構築します。それによりロボットの遠隔操作だけでは得られない技能を学習へ取り込み、身体性の違いも吸収しながら汎用化できるフィジカルAIモデルを構築する基盤の実現を目指します。
これら3つアプローチを用いて、まずはばらつきの少ないカテゴリの商品、靴・トレーディングカードなどから実証実験を開始し、将来的には衣類のトップス・ボトムス、カバンなど柔軟物を含むカテゴリへ拡大していきます。
今回のAIロボットによる出品・検品作業が実現したら、メルカリではどんないいことがおこる？
①検品・出品作業の完全自動化と「次世代のフィジカルAI基盤」の確立
物流業や製造業、小売業などあらゆる産業において不可欠でありながら、これまで最も自動化が遅れていた「非定型アイテムの検品・出品作業」を完全自動化することで、人の工数の削減と生産性の向上に貢献します。さらに、本プロジェクトで確立する力触覚を統合したマルチモーダルVLAやCamera Aware VLAは、あらゆる産業の物理タスクに応用可能なフィジカルAI基盤となり、国内産業全体の国際競争力強化に貢献しうると考えています。
②越境取引の拡大および経済活性化への貢献
日本のホビー・エンタメ文化（アニメ、コミック、ゲームなど）は世界的に需要が高く、メルカリの越境取引GMV（流通取引総額）は過去4年で19倍の約1,100億円規模へと急成長しています。本事業によるフィジカルAIの実装を通じて検品・出品作業を完全に自律化・効率化することで、この越境取引のさらなる加速を支える強力なエンジンとなります。
③資源循環の加速
越境取引の加速により、国境を越えた資源循環の拡大に貢献します。また、少し先の未来を考えると、家庭用ロボットが普及した世界において、今回の検品出品作業を実現するフィジカルAIモデルは、家庭内での出品作業の自動化へとつながり、家で眠っていた資源がより循環し、捨てるを減らす社会の実現につながると考えています。
④GX（脱炭素化）の推進と環境負荷の低減
AIロボットの社会実装により、検品・配送拠点内の作業の自動化・最適化による空間利用の効率化と作業時間の短縮を実現し、面積当たりの空調（ガス）および電気使用量の削減に貢献すると考えています。
以上、今回はGENIACに採択されたR4Dの「AIロボットを活用した出品および検品作業の自動化」に関する研究について紹介させていただきました。今後もこのプロジェクトを含め、R4Dの研究や成果を紹介していきますので、ぜひお楽しみに。