論文の概要: MMShopBench: A Real-Log Benchmark for Multimodal, Multi-Turn Shopping Agents
- arxiv url: http://arxiv.org/abs/2607.29002v1
- Date: Fri, 31 Jul 2026 04:00:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 16:35:22.216526
- Title: MMShopBench: A Real-Log Benchmark for Multimodal, Multi-Turn Shopping Agents
- Title（参考訳）: MMShopBench:マルチモーダルマルチターンショッピングエージェントのリアルタイムベンチマーク
- Abstract要約: MMShopBenchはマルチモーダル・マルチターンショッピングエージェントのための最初の実ブログベンチマークである。
MMShopBenchは、各リクエストの購入意図と必須の製品要件について、根本的なアノテーションを提供します。
我々は,エビデンスベースのマルチモーダルプロトコルを用いて,オープンソースとプロプライエタリの代表的なモデルを評価し,オープンソースモデルを微調整するための協調トレーニングセットを構築した。
- 参考スコア（独自算出の注目度）: 6.361933119710653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online shoppers increasingly turn to AI shopping assistants, using images and multi-turn dialogue to express and refine product needs that are difficult to articulate in text alone. However, existing benchmarks largely rely on text-only or synthetic requests, underrepresenting complex real-world shopping requirements jointly expressed through images and language. We introduce MMShopBench, the first real-log benchmark for multimodal, multi-turn shopping agents. Built from carefully cleaned and manually annotated shopping logs, MMShopBench provides ground-truth annotations of each request's purchase intent and mandatory product requirements. Agents must infer these requirements jointly from user images and multi-turn dialogue, retrieve candidate products through image and text search, and verify that each candidate satisfies all requirements using its product images and structured attributes. We evaluate representative open-source and proprietary models using an evidence-grounded multimodal protocol and construct a companion training set for fine-tuning an open-source model. To ensure reproducible experimentation, we build an offline shopping sandbox, where fine-tuning substantially narrows the performance gap between our open-source model and leading proprietary models, demonstrating the effectiveness of our training data.
- Abstract（参考訳）: オンラインの買い物客は、画像とマルチターン対話を使って、テキストだけでは分かりにくい製品のニーズを表現し、洗練し、AIショッピングアシスタントに目を向ける傾向にある。
しかし、既存のベンチマークは、主にテキストのみまたは合成要求に依存しており、画像と言語を通して共同で表現される複雑な現実世界のショッピング要件を過小評価している。
MMShopBenchはマルチモーダル・マルチターンショッピングエージェントのための最初の実ブログベンチマークである。
MMShopBenchは、慎重にクリーン化され手動でアノテートされたショッピングログから構築され、各リクエストの購入意図と必須の製品要件の真真正なアノテーションを提供する。
エージェントは、これらの要件をユーザイメージとマルチターン対話から共同で推測し、画像とテキスト検索を通じて候補製品を検索し、各候補がその製品イメージと構造化属性を使用してすべての要件を満たすことを確認する必要がある。
我々は,エビデンスベースのマルチモーダルプロトコルを用いて,オープンソースとプロプライエタリの代表的なモデルを評価し,オープンソースモデルを微調整するための協調トレーニングセットを構築した。
再現可能な実験を確実にするために、我々はオフラインのショッピングサンドボックスを構築し、細調整によって我々のオープンソースモデルと主要なプロプライエタリモデルのパフォーマンスギャップを著しく狭め、トレーニングデータの有効性を実証する。
関連論文リスト
- Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。
また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
論文 参考訳（メタデータ） (2026-09-02T13:19:51Z) - Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation [22.28986818203049]
本稿では、このギャップを埋めるために設計された、ネイティブなeコマースマルチモーダル検索基盤モデルであるPailitao-MMSearchを紹介する。
提案手法では,(1)HybSID(Hybrid Semantic ID),(2)2段階連続事前学習戦略,(3)ハイブリッド推論後学習パイプラインの3つの重要なイノベーションを紹介する。
Qwenをベースとして、Taobaoのマルチモーダル検索プラットフォームであるPailitao-MMSearch上にデプロイされたPailitao-MMSearchは、オンラインA/Bテストにおいて大幅に改善されている。
論文 参考訳（メタデータ） (2026-07-20T03:06:25Z) - FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data [4.101270172538245]
Composed Image Retrieval (CIR)は、修正テキストと組み合わせた参照画像を用いてターゲット画像を取得する。
我々は、このミスマッチビュー不完全性を定義し、画像レベルから製品レベルまで標準CIRを一般化する新しいMulti-View CIRタスクを正式に定義する。
製品レベルのCIRのための,最初の大規模マルチビューファッションデータセットであるFashionMVを構築した。
論文 参考訳（メタデータ） (2026-04-11T17:26:29Z) - Agent-Omni: Test-Time Multimodal Reasoning via Model Coordination for Understanding Anything [12.274140974616747]
MLLM(Multimodal large language model)は強力な能力を示すが、固定されたモダリティペアに限られる。
本稿では,既存の基盤モデルをマスタエージェントシステムで協調するエージェント-オムニフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-04T18:59:09Z) - Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents [99.62178668680578]
本稿では,単一の視覚変換器を用いてテキスト,画像,それらの組み合わせをモデル化する統合フレームワークであるビジョン中心コントラスト学習(VC2L)を提案する。
VC2Lは完全にピクセル空間で動作し、テキスト、ビジュアル、または組み合わせのいずれでも、すべての入力を画像として描画する。
ウェブ文書における複雑なクロスモーダル関係を捉えるため、VC2Lは連続するマルチモーダルセグメントを整列するスニペットレベルのコントラスト学習目標を採用している。
論文 参考訳（メタデータ） (2025-10-21T14:59:29Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - MM-BrowseComp: A Comprehensive Benchmark for Multimodal Browsing Agents [78.3863007028688]
MM-BrowseCompは、224の挑戦的で手作りの質問からなる新しいベンチマークである。
これらの質問は、しばしば画像にプロンプトを組み込むが、検索と推論の過程で遭遇する重要な情報は、Webページ上の画像やビデオにも埋め込まれることがある。
MM-BrowseCompによる最先端モデルの総合評価では、OpenAI o3のようなツールを用いたトップモデルでさえ、わずか29.02%の精度しか達成していないことが示されている。
論文 参考訳（メタデータ） (2025-08-14T13:46:47Z) - Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。
我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。
異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文 参考訳（メタデータ） (2025-02-18T12:00:47Z) - DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。
提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。
様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
論文 参考訳（メタデータ） (2024-01-02T07:40:12Z) - Align before Search: Aligning Ads Image to Text for Accurate Cross-Modal
Sponsored Search [27.42717207107]
クロスモーダルスポンサー検索は、消費者が検索エンジンで自然言語クエリーによって望ましい商品を探す際に、マルチモーダル広告(ads)を表示する。
画像とテキストの両方で広告特有の情報を調整できることは、正確で柔軟なスポンサー付き検索に不可欠だ。
広告画像の細粒度部分を対応するテキストに明示的にマッピングする単純なアライメントネットワークを提案する。
論文 参考訳（メタデータ） (2023-09-28T03:43:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。