Fugu-MT 論文翻訳(概要): Train the Agent, Not the Expert: Learning to Harness Heterogeneous Experts for Multi-Turn Visual Reasoning

論文の概要: Train the Agent, Not the Expert: Learning to Harness Heterogeneous Experts for Multi-Turn Visual Reasoning

arxiv url: http://arxiv.org/abs/2605.29894v1
Date: Thu, 28 May 2026 13:18:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-30 02:45:56.337964
Title: Train the Agent, Not the Expert: Learning to Harness Heterogeneous Experts for Multi-Turn Visual Reasoning
Title（参考訳）: エージェントを訓練する、専門家ではない:マルチターンビジュアル推論のための不均一なエキスパートへの学習
Authors: Yaowu Fan, Tao Han, Dazhao Du, Andy J. Ma, Jia Wan,
Abstract要約: VisHarnessはトレーニング可能なビジュアルエージェントで、低レベルのタスク実行から高いレベルの認識、推論、意思決定を分離する。軽量なトレーニングだけで、VisHarnessは、一般化可能なビジュアルエキスパートハーネスポリシーを学ぶ。
参考スコア（独自算出の注目度）: 16.836142604520216
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent progress in computer vision has produced a wide range of powerful specialized models for detection, segmentation, counting, and other visual tasks. However, these models are usually optimized for isolated task formulations, making it difficult to directly support general-purpose visual intelligence, especially when a task requires complex language understanding and dense small-object perception. In this paper, we propose VisHarness, a trainable visual agent that decouples high-level perception, reasoning, and decision-making from low-level task execution. Instead of training a model to solve a specific visual task, VisHarness learns to harness a set of carefully designed heterogeneous visual experts. This paradigm preserves the general intelligence of the agent while fully leveraging the precision advantages of specialized visual models in concrete visual tasks. With only lightweight training, VisHarness learns a generalizable visual expert-harnessing policy and can solve common fundamental vision tasks under various complex conditions through multi-turn interactions with visual expert models. To enable efficient on-policy reinforcement learning training in a live environment, we introduce dynamic visual memory archiving, which mitigates the rapidly accumulating visual-token overhead caused by multi-turn interactions with visual expert models. Experiments on four representative benchmarks covering reasoning segmentation, generalized referring segmentation, dense small-object detection, and referring counting demonstrate that VisHarness substantially outperforms existing general-purpose models and achieves competitive or superior performance compared with task-specific models.
Abstract（参考訳）: コンピュータビジョンの最近の進歩は、検出、セグメンテーション、カウント、その他の視覚的タスクのための様々な強力な特殊モデルを生み出している。しかしながら、これらのモデルは通常、独立したタスクの定式化に最適化されており、特にタスクが複雑な言語理解と密集した小対象認識を必要とする場合、汎用的な視覚知性を直接支援することは困難である。本稿では,低レベルのタスク実行から高レベルの認識,推論,意思決定を分離する訓練可能な視覚エージェントであるVisHarnessを提案する。特定の視覚的タスクを解決するためにモデルをトレーニングする代わりに、VisHarness氏は、慎重に設計された異種視覚専門家のセットを活用することを学ぶ。このパラダイムは、具体的な視覚タスクにおいて、特殊視覚モデルの精度の利点を十分に活用しながら、エージェントの一般的な知性を保っている。軽量なトレーニングだけで、VisHarnessは、一般化可能なビジュアルエキスパートハーネスポリシーを学び、ビジュアルエキスパートモデルとのマルチターンインタラクションを通じて、様々な複雑な条件下で共通の基本的なビジョンタスクを解決できる。実環境下での効率的なオンライン強化学習訓練を実現するため,視覚専門家モデルとの多ターンインタラクションによる視覚的トーケンオーバーヘッドの増大を緩和する動的視覚記憶アーカイブを導入する。推論セグメンテーション、一般化参照セグメンテーション、高密度小対象検出、参照カウントを含む4つの代表的なベンチマーク実験により、VisHarnessは既存の汎用モデルよりも大幅に優れており、タスク固有のモデルと比較して競争力や優れた性能を達成することが示された。

関連論文リスト

VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions [51.41587958253802]
視覚情報を捨てることなく推論コストを削減するVISOR(VISion On Request)を導入する。 VISORは画像とテキストトークン間の相互作用をスパースすることで効率を向上する。実験により、VISORは、最先端の結果を一致または超えながら、計算コストを大幅に削減することが示された。
論文参考訳（メタデータ） (2026-03-24T17:58:17Z)
Latent Implicit Visual Reasoning [59.39913238320798]
本稿では,視覚的推論トークンの発見と使用をLMMに指示するタスク非依存機構を提案する。提案手法は直接微調整より優れ,様々な視覚中心のタスクにおいて最先端の結果が得られる。
論文参考訳（メタデータ） (2025-12-24T14:59:49Z)
Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs [61.64185573373394]
本稿では,MLLMの本質的不確かさをプロアクティブ誘導信号として用いた学習自由フレームワークを提案する。応答不確実性によって候補の視覚入力をスコアする統一的なメカニズムを導入し、モデルが最も健全なデータに自律的にフォーカスできるようにする。本研究は,本質的な不確実性を活用することが,細粒度マルチモーダル性能を高めるための強力で汎用的な戦略であることを実証する。
論文参考訳（メタデータ） (2025-10-01T09:20:51Z)
Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning [79.34909830834464]
VLM(Vision-Language Models)は様々な視覚的タスクで顕著な成功を収めているが、複雑な視覚環境では性能が低下している。視覚的複雑性は、注意エントロピーと強く相関し、推論性能に悪影響を及ぼすことを示す。本稿では,CARVE(Contrastive Attention Refinement for Visual Enhancement)を提案する。
論文参考訳（メタデータ） (2025-09-08T09:20:04Z)
Understand, Think, and Answer: Advancing Visual Reasoning with Large Multimodal Models [26.14137626882127]
大規模マルチモーダルモデル(LMM)は、視覚言語と視覚中心のタスクの両方において、目覚しい視覚的理解性能を示す。本稿では,LMMが複雑な構成問題を解くための統一的な視覚推論機構を提案する。トレーニングされたモデルであるGriffon-Rには、エンドツーエンドの自動理解、自己思考、推論の回答能力があります。
論文参考訳（メタデータ） (2025-05-27T05:50:25Z)
Semantics Disentanglement and Composition for Versatile Codec toward both Human-eye Perception and Machine Vision Task [47.7670923159071]
本研究は,人間の目知覚と機械視タスクを同時に強化する革新的セマンティックス Disentanglement と COmposition versatile (DISCOVER) を導入する。このアプローチはタスク毎のラベルの集合をマルチモーダルな大モデルで導き出し、グラウンドモデルを用いて正確なローカライズを行い、エンコーダ側の画像成分の包括的理解とアンタングル化を可能にする。復号段階では、これらの符号化されたコンポーネントを生成モデルから先行して活用することにより、画像の総合的な再構成を実現し、人間の視覚知覚とマシンベースの分析タスクの両方のパフォーマンスを最適化する。
論文参考訳（メタデータ） (2024-12-24T04:32:36Z)
VipAct: Visual-Perception Enhancement via Specialized VLM Agent Collaboration and Tool-use [74.39058448757645]
視覚言語モデル(VLM)を強化するエージェントフレームワークであるVipActを提案する。 VipActは、タスク要求の分析、計画、調整を管理するオーケストレータエージェントと、特定のタスクを処理する専門エージェントで構成される。様々な視覚認知タスクを特徴とするベンチマーク上でのVipActの評価を行い,実験結果から大幅な性能向上が得られた。
論文参考訳（メタデータ） (2024-10-21T18:10:26Z)
Look, Remember and Reason: Grounded reasoning in videos with language models [5.3445140425713245]
マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
論文参考訳（メタデータ） (2023-06-30T16:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。