“欲しいものにすぐ出会える”最高の検索体験を目指して 〜「GENIAC」に採択されたメルカリR4Dの「AI検索・推薦モデル開発」とは〜
このたび、競争力のある生成AI基盤モデルの開発を加速することを目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」に、R4Dの研究が採択されることとなりました。
本記事では、今回採択されたR4Dの研究がどのようなものかをより詳しく解説していきます。
商品検索をもっと便利に
今回のプロジェクトの目的を一言でまとめると、メルカリのようなリユース市場における検索体験をよりよくすることです。
メルカリでは、これまで40億品以上の商品が出品され、取引が行われてきました。その商品情報や取引ログなどのデータを活用し、リユース市場に特化した“日本発”のAI検索・推薦システムの基盤を開発し、メルカリにおける商品検索の体験を刷新していくことを目指します。
これまでの検索は“名前の分からない物”や“あいまいな検索”に弱い
フリマアプリに出品される商品の多くは、型番のない中古品や名前の分からない一点物です。
例えば書籍は、バーコードや識別コードによりその書籍の情報がすぐに出てきますが、メルカリには年代物の家具や置物、ハンドメイドの一点モノはもちろん、トイレットペーパーの芯やきれいにつくられた泥団子などまで売られているので、公式の商品情報がないものが非常に多いのです。
実際のところ、メルカリにおいても出品物の約80%は既存のカタログとの紐付けができない商品となっています。
このようなニッチな商品は、商品説明文が簡素だったり、独特な専門用語で書かれていたりすることも多く、従来のキーワードマッチ型の検索エンジン（詳しい説明は次章）では、適切な商品を提示することがなかなか難しかったりします。
また、商品がニッチであるほど、その商品を検索したり購入したりする人の母数が減るため、その商品に関連したユーザーの行動データが少なくなり、ユーザーの行動データを元にした従来の商品推薦システムも十分に機能することが困難になってきます。
加えて、例えば「週末のキャンプに持っていきたいビンテージ風のチェア」「結婚式に着ていける上品なセットアップ」といった自然言語による曖昧な検索に対応することは、なおさら困難となってしまいます。もし「結婚式に着ていける上品なセットアップ」にぴったりなものが出品されていたとしても、その商品の説明文が「落ち着いた雰囲気のフォーマルな服です」といったものであれば、検索文の「結婚式」「上品」「セットアップ」などのワードと一致せず、サジェストされづらくなるからです。
こうした商品検索における体験のギャップが、お客さまの再検索（目当てのものが見つからず、何回も検索すること）や購入機会の逸失につながっています。
このような課題を解決しうるのが、今回のプロジェクトのキーとなるGenerative Retrieval（生成検索）技術です。膨大な商品の情報を学習し、商品そのものの意味や文脈を理解したAIが、ユーザーの検索要望に柔軟に答えてくれるシステムです。
このAIによる新しい検索・推薦システムの仕組みを解説する前に、比較としてこれまでの検索の仕組みについて簡単に説明します。
これまでの検索の仕組み
これまでの検索エンジンの仕組みの基本は、単語のマッチングです。
まず、検索エンジンはすべての商品のデータを読み込み、「単語の逆引き辞典」のようなものを自動で作成します。
例えば、以下の4つの商品があった場合、
- 商品A（ID: 1）：「完全ワイヤレス イヤホン 防水 ノイズキャンセリング」
- 商品B（ID: 2）：「重低音 防水 Bluetooth スピーカー」
- 商品C（ID: 3）：「骨伝導 イヤホン ランニング用」
- 商品D（ID: 4）：「骨伝導 Bluetooth イヤホン 防水 会議用」
検索エンジンは、これらを単語ごとにバラバラに解体し、次のようなデータベースに格納します。
| 単語 | 登場する商品のIDリスト |
|---|---|
| イヤホン | ID: 1, ID: 3, ID: 4 |
| 防水 | ID: 1, ID: 2, ID: 4 |
| スピーカー | ID: 2 |
| Bluetooth | ID: 2, ID: 4 |
| … | … |
次に、ユーザーが検索窓で「イヤホン 防水」と入力したとしましょう。すると検索システムは上記のデータベースを参照し「イヤホン」と「防水」の両方に共通しているID: 1とID: 4を見つけ出します。
ヒットした商品が大量にある場合は、どの順番で検索結果を表示するかを決めます。「商品説明の中にどれだけキーワードが密集しているか（BM25アルゴリズム）」や、ECサイトにおける「売れ筋スコア」「クリック率」などを掛け合わせて、上から順番に並べ替えて表示します。
このように基本的には検索ワードと商品説明文のマッチングが検索のキーとなります。
Generative Retrieval（生成検索）技術を用いた検索の仕組み
では、今回のR4Dの研究プロジェクトのキーとなる「Generative Retrieval技術」とはどのようなものでしょうか。
簡単に言えば「すべての商品がどのようなものか理解し暗記した巨大なAIが、ユーザーの検索要望に対してそのコンテキストを理解して、直接適切な商品を提案する」というアプローチです。
その仕組みを理解するために、このAIモデルがどのように作成されていくかをみていきましょう。
まず、学習データをもとに、各商品に対して、その商品の「意味」を反映したID（Semantic ID）をつくります。（この「IDに意味を持たせる」ということがポイントです！）
例えば、「ファッションカテゴリの中の、靴カテゴリの中の、スニーカーカテゴリに属するもので、色は赤と白で、サイズは26cmで、ランニングに最適で…」といった商品が持つ意味合いを含んだ情報をその商品のIDとするのです。（もちろん、実際のIDは言葉ではなく、数字に変換されたIDとなります）
次に、AIモデルにすべての商品のSemantic IDを丸暗記させます。
そして、実際にユーザーが検索するときは、ユーザーが入力した検索ワード（例: ランニング スニーカー 赤）や、自然言語による曖昧なクエリ（例: ダイエットのためのランニングに最適な赤いスニーカー）から、その検索のコンテキストや感性に見合う商品のSemantic IDを生成し、丸暗記したすべての商品の中で一致したIDあるいはを近しいIDを持つ商品を返します。
従来の検索エンジンのように、キーワードに一致するものを探しにいくことはしません。検索クエリから生成されたユーザーの検索意図を情報として含んだIDと、事前学習で暗記した商品が持つ意味合いまで反映したIDを照合して検索結果を返すのです。
ゆえに、ニッチな商品を検索しようとしたとしても、検索文が曖昧な自然言語だったとしても、学習したすべての商品についての深い理解を持った上で検索結果を表示してくれるため、高精度な検索・レコメンドが可能となるのです。
メルカリならではのデータで学習した独自AIモデル
本研究プロジェクトでAIモデル開発に活用する3つのデータを紹介します。まさにこれらが、今回開発するAIモデルの独自性を担保するものになります。メルカリならではのデータを活用することで、リユース市場に特化したものが開発可能です。
- ①メルカリの40億品ログ
- 商品のテキスト情報（商品タイトル、説明文、カテゴリなど）と画像データから、事前学習済みのマルチモーダルエンコーダ（Multi-modal Encoder）を用いてそれぞれの特徴を抽出したもの
- またユーザーの検索ログや行動ログも含む
- ②資本業務提携先である「駿河屋」の3000万件の精緻カタログ
- 「カテゴリ」「ブランド」「色」「商品属性（シリーズ名や機種名など）」といった、製品に関する正確で詳細な情報が含まれている
- ③300万件の感性口コミデータ
- 実際にユーザーが投稿した生の口コミではなく、LLMを用いて人工的に合成・生成された商品レビューデータ
- 商品の「ブランド」や「色」といった物理的なカタログ情報だけでなく、「フェス向き」「雨の日も安心」「通勤アウター」といった、商品の利用シーンやユーザーの感想（感性）を表現したテキスト
今回のAI検索・推薦システムが実現したら、メルカリではどんないいことがおこる？
まず、検索体験の劇的な向上です。
これまでに説明したように、従来のキーワード検索では対応が難しかった曖昧なニーズに応え、「1回の検索で欲しいものに出会える」体験の実現を目指します。 何度も検索し直すストレスから解放され、商品購入率を向上させることを目標としています。
次に、越境取引（グローバル展開）の加速です。
日本のホビー・エンタメ文化（ACGE領域）は世界的に需要が高く、メルカリにおける越境取引のGMVは過去3年で15倍にまで急成長しています。今後もより多くの国へ「メルカリ グローバルアプリ」を展開拡大していくことを計画しています。
今回開発するAIモデルによって言語や文化的な文脈理解の壁を打破し、海外ユーザーが専門用語を知らなくても、自身の母国語で直感的に探したいものを検索できるようになります。
最後に、資源循環の加速です。
発見性が低くメルカリの中で埋没していたロングテール商品がしっかり流通するようになればで、年間約69万トン以上の温室効果ガス排出回避につながります。これは、約7,900万本もの杉の木が1年間に吸収するCO2量に相当するものです。
以上、今回はGENIACに採択されたR4Dの「AI検索・推薦」に関する研究について紹介させていただきました。
今後もこのプロジェクト含め、R4Dの研究や成果を紹介していきますので、ぜひお楽しみに。