論文の概要: MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments

• arxiv url: http://arxiv.org/abs/2604.13418v1
• Date: Wed, 15 Apr 2026 02:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.359112
• Title: MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments
• Title（参考訳）: MERRIN: ノイズの多いWeb環境におけるマルチモーダルエビデンス検索と推論のためのベンチマーク
• Abstract要約: 本稿では,検索エージェント評価のための人手によるベンチマークであるMERRIN(Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments)を紹介する。 MERRINは、関連するモダリティを特定し、マルチモーダルエビデンスを取得し、ノイズの多いWebソース上でマルチホップ推論を実行するAIエージェントの能力を測定する。 我々は,強力なクローズドソースモデルやオープンウェイトモデルを含む10種類のモデルを用いた多様な検索エージェントを評価する。
• 参考スコア（独自算出の注目度）: 68.15682316179088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by the underspecified, multi-hop nature of search queries and the multimodal, heterogeneous, and often conflicting nature of real-world web results, we introduce MERRIN (Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments), a human-annotated benchmark for evaluating search-augmented agents. MERRIN measures AI agents' ability to identify relevant modalities, retrieve multimodal evidence, and perform multi-hop reasoning over noisy web sources. It differs from prior work in three important aspects: (1) using natural language queries without explicit modality cues, (2) incorporating underexplored modalities such as video and audio, and (3) requiring the retrieval of complex, often noisy or conflicting multimodal evidence during web search. We evaluate diverse search agents powered by ten models, including strong closed-source models (e.g., GPT-5.4-mini, Gemini 3/3.1 Flash/Pro) and open-weight models (Qwen3-4B/30B/235B), across three search settings (no search, native search, and agentic search). Our results show that MERRIN is highly challenging: the average accuracy across all agents is 22.3%, with the best-performing agent reaching only 40.1%. We further observe that while stronger agents like Gemini Deep Research achieve higher performance, gains are modest due to over-exploration; they take more steps and use more tools, but are often distracted by conflicting or partially relevant web content, leading to incorrect answers. Compared to humans, these agents consume more resources yet achieve lower accuracy, largely due to inefficient source selection and an overreliance on text modalities. These findings highlight the need for search agents capable of robust search and reasoning across diverse modalities in noisy web environments, making MERRIN a valuable testbed for evaluating such capabilities.
• Abstract（参考訳）: 検索クエリのマルチホップ性や、マルチモーダルで異質で、しばしば相反する現実世界のWeb検索結果の性質に触発されて、我々は、検索強化されたエージェントを評価するための人為的なベンチマークであるMERRIN(Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments)を紹介した。 MERRINは、関連するモダリティを特定し、マルチモーダルエビデンスを取得し、ノイズの多いWebソース上でマルチホップ推論を実行するAIエージェントの能力を測定する。 1) 明示的なモダリティを伴わない自然言語クエリの使用,(2) ビデオや音声のような未探索のモダリティの導入,(3) 複雑な,騒々しい,あるいは矛盾するマルチモーダルな証拠の検索の必要性,である。 我々は, 強力なクローズドソースモデル(GPT-5.4-mini, Gemini 3/3.1 Flash/Pro)やオープンウェイトモデル(Qwen3-4B/30B/235B)を含む10種類のモデルを用いた多様な検索エージェントを, 3つの検索設定(検索, ネイティブ検索, エージェント検索)で評価した。 以上の結果から、MERRINは高い難易度を示しており、全てのエージェントの平均精度は22.3%であり、最高の性能のエージェントは40.1%に過ぎなかった。 Gemini Deep Researchのような強力なエージェントがより高いパフォーマンスを達成する一方で、過剰な探索のために利益は控えめである。 人間と比較して、これらのエージェントはより多くのリソースを消費するが、大部分は非効率なソース選択とテキストのモダリティへの過度な依存のため、より低い精度を達成する。 これらの知見は, ノイズの多いWeb環境において, 多様なモーダルをまたいだ検索と推論が可能な検索エージェントの必要性を浮き彫りにし, それらの機能を評価する上で, MERRIN が有意義なテストベッドとなることを示唆している。

関連論文リスト

• Mitigating Context Interference for Reliable and Efficient Search Agents [67.82705889007238]
  本研究では,マルチターンサーチエージェントにおけるコンテキスト干渉について検討する。 マルチターン検索エージェントのコンテキスト干渉を動的に緩和する蒸留方式のコンテキスト精錬器を提案する。 検索エージェントのRL訓練パイプラインにコンテキスト改善を組み込むことで,信頼性と効率性を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2026-08-11T10:00:42Z)
• Evaluating the Search Agent in a Parallel World [28.24678964635285]
  並列世界における検索エージェント評価フレームワークであるMind-ParaWorldを紹介する。 パラワールド・ロー・モデル(ParaWorld Law Model)は、不可分なアトミック・ファクトの集合と、各質問に対する独特な基礎構造を構築する。 評価中、現実世界の結果を取得する代わりに、エージェントはパラワールドモデルと対話する。 MPW-Benchは19のドメインと1,608のインスタンスにまたがる対話型ベンチマークです。
  論文  参考訳（メタデータ） (2026-03-05T02:56:42Z)
• AgentIR: Reasoning-Aware Retrieval for Deep Research Agents [76.29382561831105]
  ディープリサーチエージェントは、各検索の前に明示的な自然言語推論を生成する。 Reasoning-Aware Retrievalは、クエリと一緒にエージェントの推論トレースを埋め込む。 DR-Synthは、標準的なQAデータセットからDeep Researchレトリバーのトレーニングデータを生成する。 AgentIR-4Bは、オープンウェイトエージェントであるTongyi-DeepResearchで68%の精度を達成する。
  論文  参考訳（メタデータ） (2026-03-04T18:47:26Z)
• VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning [22.27364585438247]
  VSearcherは、マルチモーダル検索エージェントで、現実世界のWeb環境での長時間のマルチターンツールの使用を可能にする。 大規模で複雑なマルチモーダルQA質問を生成するために、反復射出データ合成パイプラインを導入する。 次に、SFT-then-RLトレーニングパイプラインを用いて、ベースマルチモーダルモデルを現実世界のWeb環境におけるマルチターンツール呼び出しが可能なエージェントに変換する。
  論文  参考訳（メタデータ） (2026-03-03T09:33:22Z)
• Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
  エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。 本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
  論文  参考訳（メタデータ） (2026-01-08T08:13:27Z)
• MM-BrowseComp: A Comprehensive Benchmark for Multimodal Browsing Agents [78.3863007028688]
  MM-BrowseCompは、224の挑戦的で手作りの質問からなる新しいベンチマークである。 これらの質問は、しばしば画像にプロンプトを組み込むが、検索と推論の過程で遭遇する重要な情報は、Webページ上の画像やビデオにも埋め込まれることがある。 MM-BrowseCompによる最先端モデルの総合評価では、OpenAI o3のようなツールを用いたトップモデルでさえ、わずか29.02%の精度しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-08-14T13:46:47Z)
• MMSearch-R1: Incentivizing LMMs to Search [49.889749277236376]
  MMSearch-R1は,実世界のインターネット環境において,オンデマンドでマルチターン検索が可能な,初のエンドツーエンド強化学習フレームワークである。 本フレームワークは画像検索とテキスト検索の両方を統合し,検索ペナルティによる結果に基づく報酬によって,モデルがいつ,どのように呼び出すかの判断を可能にする。
  論文  参考訳（メタデータ） (2025-06-25T17:59:42Z)
• A New Query Expansion Approach via Agent-Mediated Dialogic Inquiry [10.76224743599566]
  本稿では,3つの専門的役割を含む対話的調査を行うエージェント媒介型対話型フレームワークAMDを提案する。 マルチエージェントプロセスを活用することで、AMDは質問やフィードバックの洗練を通じて、よりリッチなクエリ表現を効果的に構築する。
  論文  参考訳（メタデータ） (2025-02-12T16:39:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。