論文の概要: SnapBench: Benchmarking Snap-and-Ask Multimodal Retrieval for Mobile Interactions
- arxiv url: http://arxiv.org/abs/2608.29607v1
- Date: Sun, 30 Aug 2026 06:56:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.018615
- Title: SnapBench: Benchmarking Snap-and-Ask Multimodal Retrieval for Mobile Interactions
- Title（参考訳）: SnapBench: モバイルインタラクションのためのSnap-and-Askマルチモーダル検索のベンチマーク
- Abstract要約: Snap-and-ask検索は、モバイルAIの最も一般的なエントリポイントの1つである。
既存のベンチマークはクリーンな入力のみをテストするか、スナップ・アンド・アズク検索でペアを分離しない。
SnapBenchは、堅牢なスナップ・アンド・アズクマルチモーダル検索のための最初のペアベンチマークである。
- 参考スコア（独自算出の注目度）: 15.353779575631556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile AI acts as a visual oracle, empowering users to snap a picture of something and ask for information. Snap-and-ask retrieval is now one of the most common entry points for mobile AI, yet photos are often blurry, while text questions may be short or mistyped. Existing benchmarks only test on clean inputs or do not isolate paired robustness in snap-and-ask retrieval. Therefore, we introduce SnapBench, the first paired benchmark for robust snap-and-ask multimodal retrieval, spanning 1,145 queries, 9,085 gallery items under 53 controlled corruption conditions with human annotations. We evaluate 16 multimodal retrievers, covering dual-tower encoders and embedding-based VLMs. Results show that image corruptions substantially degrade retrieval, while text corruptions mainly affect text-only retrieval and have limited impact on joint retrieval. Clean image-only retrieval often outperforms joint retrieval, indicating the coarse-text drag and the lack of cross-modal fallback under noisy inputs. SnapBench provides a controlled testbed for evaluating robust retrieval in snap-and-ask scenarios. We further propose MOOR (Modality-anchored, Outlier-aware, Optimal Reweighting), a simple adaptive fusion approach, highlighting the need for reliability-aware modality calibration in snap-and-ask retrieval.
- Abstract（参考訳）: モバイルAIは視覚的なオラクルとして機能し、ユーザーは何かの写真を撮って情報を求めることができる。
Snap-and-ask検索は現在、モバイルAIの最も一般的なエントリポイントの1つだが、写真はしばしばぼやけている。
既存のベンチマークはクリーンな入力のみをテストするか、スナップ・アンド・アズク検索でペア化された堅牢性を分離しない。
そこで我々は,堅牢なスナップ・アンド・アズクマルチモーダル検索のための最初のベンチマークであるSnapBenchを紹介した。
我々は16個のマルチモーダルレトリバーを評価し、デュアルトワーエンコーダと埋め込み型VLMをカバーした。
その結果,画像の劣化は検索を著しく低下させるが,テキストの破損はテキストのみの検索に大きく影響し,共同検索に限られた影響を及ぼすことがわかった。
クリーンな画像のみの検索は、しばしば共同検索よりも優れており、粗いテキストのドラッグとノイズのある入力下でのクロスモーダルなフォールバックの欠如が示される。
SnapBenchは、スナップ・アンド・アズクのシナリオで堅牢な検索を評価するためのコントロールされたテストベッドを提供する。
さらに、単純な適応型融合アプローチであるMOOR(Modality-anchored, Outlier-aware, Optimal Reweighting)を提案する。
関連論文リスト
- Text Over Image: Auditing Multimodal Robustness in Synthetic Medical Image Detection [38.146353416394234]
我々は、画像記録インタフェースにおけるマルチモーダルロバスト性の監査として、合成医用画像検出を再構成する。
メタデータのコンテキストだけを変えることで、信頼性の判断を覆すことがわかりました。
そこで本研究では,モデルの再学習を伴わずに,予測時間短縮パイプラインを用いて前兆ショートカットの検出と中和を行う。
論文 参考訳（メタデータ） (2026-06-24T04:08:41Z) - Do Composed Image Retrieval Benchmarks Require Multimodal Composition? [86.99911649534795]
合成画像検索ベンチマークでは,マルチモーダルな構成が必要であると推定される。
4つの広く使用されているCIRベンチマークと11のジェネリストマルチモーダルエンベディングモデルで、クエリの大部分が単一モードで解決できる。
CIRの性能は、真のマルチモーダル合成ではなく、単一モーダル信号から生じる。
論文 参考訳（メタデータ） (2026-05-14T12:56:36Z) - Robust Test-time Video-Text Retrieval: Benchmarking and Adapting for Query Shifts [28.52079785516312]
ビデオテキスト検索(VTR)モデルは、現実世界のクエリシフトに対して非常に脆弱である。
本稿では,HAT-VTR(Hubness Alleviation for Test-time Video-Text Retrieval)をベースラインテストタイム適応フレームワークとして提案する。
大規模な実験により、HAT-VTRはロバスト性を大幅に改善し、さまざまなクエリシフトシナリオで一貫してメソッドのパフォーマンスが向上することが示された。
論文 参考訳（メタデータ） (2026-02-15T05:57:44Z) - Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。
エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。
エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
論文 参考訳（メタデータ） (2026-01-27T00:46:08Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。
マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-30T15:09:14Z) - Generalized Contrastive Learning for Universal Multimodal Retrieval [53.70202081784898]
クロスモーダル検索モデル(例えばCLIP)は、融合した画像テキストのモダリティからなるキーを検索することで、劣化したパフォーマンスを示す。
本稿では,新たなデータセットキュレーションを必要とせずに,マルチモーダル検索性能を向上させる新しい損失定式化である汎用コントラスト学習(GCL)を提案する。
論文 参考訳（メタデータ） (2025-09-30T01:25:04Z) - Multimodal Hypothetical Summary for Retrieval-based Multi-image Question Answering [14.63910474388089]
QAの学習目標が探索段階の最適化に失敗するため, 「検索・回答」パイプラインはカスケードエラーに悩まされることが多い。
本稿では,検索した情報をQAに効果的に導入し,参照するための新しい手法を提案する。
提案手法は,RETVQAの最先端手法よりも3.7%,CLIPよりも14.5%,絶対的な改善を実現している。
論文 参考訳（メタデータ） (2024-12-19T14:17:09Z) - Beyond Walking: A Large-Scale Image-Text Benchmark for Text-based Person Anomaly Search [25.907668574771705]
そこで本研究では,日常的・異常な活動に従事する歩行者をテキストで検索するタスクを提案する。
このタスクのトレーニングと評価を可能にするため,大規模画像テキストによる歩行者異常行動ベンチマークを構築した。
提案したベンチマーク実験により, 合成学習データにより詳細な動作の検索が容易となり, 提案手法は84.93%のリコール@1精度で到達した。
論文 参考訳（メタデータ） (2024-11-26T09:50:15Z) - TIGeR: Unifying Text-to-Image Generation and Retrieval with Large Multimodal Models [96.72318842152148]
1つのLMM(Large Multimodal Model)を用いたテキスト・画像生成と検索のための統合フレームワークを提案する。
具体的には,LMMの本質的な識別能力について検討し,テキスト・画像検索のための効率的な生成的検索手法を提案する。
次に、テキストプロンプトに対する応答として、生成画像と検索画像の間で最適なマッチング画像を選択するための自律決定機構を提案する。
論文 参考訳（メタデータ） (2024-06-09T15:00:28Z) - Cross-Modal and Uni-Modal Soft-Label Alignment for Image-Text Retrieval [8.964406623762166]
クロスモーダル・ユニモーダル・ソフトレーベルアライメント(CUSA)と呼ばれる新しい手法を提案する。
本手法は,一様事前学習モデルのパワーを活用し,画像テキスト検索モデルのためのソフトラベル監視信号を提供する。
また,画像テキスト検索モデルのユニモーダル検索性能を向上し,ユニバーサル検索を実現する。
論文 参考訳（メタデータ） (2024-03-08T12:32:14Z) - CFIR: Fast and Effective Long-Text To Image Retrieval for Large Corpora [3.166549403591528]
本稿では,高速かつ効率的な画像検索のための2段階の粗度指数共有検索(CFIR)フレームワークを提案する。
CFIRは、Recall@1000で既存のMLLMを最大11.06%上回り、トレーニング時間と検索時間をそれぞれ68.75%、99.79%削減している。
論文 参考訳（メタデータ） (2024-02-23T11:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。