論文の概要: ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering

• arxiv url: http://arxiv.org/abs/2606.27974v1
• Date: Fri, 26 Jun 2026 11:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.474148
• Title: ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering
• Title（参考訳）: ProMSA:知識に基づく視覚質問応答のためのプログレッシブ・マルチモーダル検索エージェント
• Abstract要約: ProMSAは知識に基づく視覚質問応答(KB-VQA)のためのプログレッシブマルチモーダル検索エージェントである 画像検索ペアを与えられたエージェントは、明示的なツールコール予算の下で画像検索、テキスト検索、または停止を反復的に選択し、冗長な検索を避けるために重複を回避する。 E-VQAとInfoSeekの実験は、強力なRAGとエージェントベースラインよりも一貫したゲインを示し、検索とエンドツーエンドの精度を改善した。
• 参考スコア（独自算出の注目度）: 26.55005240500685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-based Visual Question Answering (KB-VQA) requires models to combine image understanding with external knowledge. Most prior methods use a fixed retrieve-then-generate pipeline with a pre-selected retriever and a static top-k setting, which is not adaptive during reasoning. We propose ProMSA, a progressive multimodal search agent for KB-VQA. Given an image-question pair, the agent iteratively chooses image search, text search, or stop, under explicit tool-call budgets and with deduplication to avoid redundant retrieval. For training, we first use rejection-sampling SFT to learn valid tool-use formats, then optimize the agent with TN-GSPO, a sequence-level RL objective that normalizes updates by both generation length and tool-interaction depth. Experiments on E-VQA and InfoSeek show consistent gains over strong RAG and agent baselines, and improved retrieval and end-to-end accuracy. The code is available at https://github.com/DingWu1021/Promsa.
• Abstract（参考訳）: 知識に基づくビジュアル質問回答(KB-VQA)では、画像理解と外部知識を組み合わせるモデルが必要である。 従来の手法では、事前選択されたレトリバーと静的のトップ-k設定を備えた固定されたレトリバー-then-generateパイプラインを使用しており、推論中に適応しない。 KB-VQAのためのプログレッシブマルチモーダルサーチエージェントであるProMSAを提案する。 画像検索ペアを与えられたエージェントは、明示的なツールコール予算の下で画像検索、テキスト検索、または停止を反復的に選択し、冗長な検索を避けるために重複を回避する。 トレーニングでは,まずリジェクションサンプリングSFTを用いて有効なツール使用形式を学習し,TN-GSPOを用いてエージェントを最適化する。 E-VQAとInfoSeekの実験は、強力なRAGとエージェントベースラインよりも一貫したゲインを示し、検索とエンドツーエンドの精度を改善した。 コードはhttps://github.com/DingWu1021/Promsa.comで公開されている。

関連論文リスト

• GTA-RAG: Graph-Trajectory-Augmented Reinforcement Learning for Multi-Turn Retrieval-Augmented Reasoning [27.83191719981676]
  グラフトラジェクトリ拡張RLフレームワークであるtextscGTA-RAG について述べる。 メソッドは、Qwen2.5-3BとQwen2.5-7BのバックボーンでRLベースのRAGベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T16:05:20Z)
• Learning to Search: A Decision-Based Agent for Knowledge-Based Visual Question Answering [18.5913106358874]
  知識に基づく視覚的質問応答(KB-VQA)は、画像を理解し、外部知識を使用するために視覚言語モデルを必要とする。 ほとんどの既存の検索拡張生成(RAG)メソッドは、情報を逐次検索し、フィルタリングし、回答を生成する固定パイプラインを採用している。 我々は,KB-VQAを探索エージェント問題として再定義し,その解法を多段階決定手順としてモデル化する。
  論文  参考訳（メタデータ） (2026-04-08T14:37:35Z)
• Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
  PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。 エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。 エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
  論文  参考訳（メタデータ） (2026-01-27T00:46:08Z)
• Agentic-R: Learning to Retrieve for Agentic Search [82.43426728778418]
  エージェント検索に適した新しい検索学習フレームワークを提案する。 単一ターン検索拡張生成(RAG)用に設計された検索器とは違って,局所的なクエリ・パスの関連性とグローバルな回答の正当性を両立することを提案する。 我々のレトリバーは、我々のものとよばれ、異なる検索エージェント間で強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-17T02:59:54Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router [57.28685457991806]
  DeepSieveはエージェントRAGフレームワークで、LLM-as-a-knowledge-routerを介して情報を収集する。 我々の設計はモジュール性、透明性、適応性を重視しており、エージェントシステム設計の最近の進歩を活用している。
  論文  参考訳（メタデータ） (2025-07-29T17:55:23Z)
• Retrieval-Augmented Visual Question Answering via Built-in Autoregressive Search Engines [17.803396998387665]
  Retrieval-augmented Generation (RAG)は、知識集約型視覚質問応答(VQA)タスクに対処するために登場した。 本稿では,知識に基づくVQAタスクに対する従来のRAGモデルの代替としてReAuSEを提案する。 我々のモデルは生成型検索器と正確な回答生成器の両方として機能する。
  論文  参考訳（メタデータ） (2025-02-23T16:39:39Z)
• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [92.5712549836791]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。