論文の概要: Efficient Agentic Audio-Visual Question Answering through Toolset Pruning and Modality Consolidation

• arxiv url: http://arxiv.org/abs/2610.38960v2
• Date: Sun, 01 Nov 2026 17:50:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:45.006584
• Title: Efficient Agentic Audio-Visual Question Answering through Toolset Pruning and Modality Consolidation
• Title（参考訳）: ツールセット・プルーニングとモダリティ・コンソリデーションによる効果的なエージェント・オーディオ・ビジュアル質問応答
• Abstract要約: 微細な音声-視覚質問応答 (AVQA) は複雑なモーダル対応を解くためにモデルを必要とする。 音声と視覚の両方からのアクティブな知覚が、幅広い特殊ツールセットに依存しているかどうかは不明だ。 本研究は,知覚能力のみを露呈するコンパクトなワークフローで,同等の性能を維持できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 14.648384984446439
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-grained audio-visual question answering (AVQA) requires models to resolve complex cross-modal correspondences and temporally grounding from sparsely distributed evidence. Omni-modal agents, which autonomously orchestrate perception tools to actively collect evidence, achieve strong performance, but it remains unclear whether active perception from both audio and visual modalities depends on broad specialized toolsets, especially audio or visual modality-specific tools. Such systems may also introduce long execution trajectories and substantial inference cost. We investigate whether comparable performance can be retained with a compact workflow exposing only essential perceptual capabilities. Starting from the specialized-tool OmniAgent, we conduct staged controlled experiments that prune the toolset and progressively consolidate modality-specific tools into omni-modal tools, motivating a two-tool agent comprising only Omni-modal captioning and Omni-modal QA. Across three widely used AVQA benchmarks, our compact agent achieves comparable or better accuracy than the specialized-tool agent while reducing inference cost by around 70%.
• Abstract（参考訳）: 詳細な音声-視覚的質問応答 (AVQA) では、複雑なクロスモーダル対応の解決と、わずかに分散された証拠の時間的根拠をモデルに要求する。 オムニ・モーダル・エージェント(Omni-modal agent)は、積極的に証拠を収集するための知覚ツールを自律的に編成し、強力なパフォーマンスを達成するが、音声と視覚の両方からのアクティブな知覚が、幅広い特殊ツールセット、特に音声と視覚のモダリティ固有のツールに依存しているかどうかは不明である。 このようなシステムは、長い実行軌跡とかなりの推論コストも導入する。 本研究は,知覚能力のみを露呈するコンパクトなワークフローで,同等の性能を維持できるかどうかを考察する。 Omni-modal casting と Omni-modal QA のみからなる2ツール・エージェントをモチベーションとして,Omni-modal tools を具体化し,段階的にモチベーション特異的ツールをOmni-modal tools に統合する制御実験を行った。 3つの広く使われているAVQAベンチマークで、我々のコンパクトエージェントは、推測コストを約70%削減しながら、特殊ツールエージェントと同等またはより優れた精度を実現している。

関連論文リスト

• OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning [43.3119747568498]
  我々はOmni-LLM(Omni Large Language Model)をアクティブなマルチターン推論エージェントに変換するエージェントフレームワークであるOmniSeekを紹介する。 OmniSeekは、1回のフォワードパスで音声と視覚のシーケンス全体を受動的に処理する代わりに、推論プロセスの一部として証拠を取得する。
  論文  参考訳（メタデータ） (2026-10-01T17:58:16Z)
• Native Active Perception as Reasoning for Omni-Modal Understanding [96.19360756363501]
  我々は,OmniAgentをPOMDPに基づく反復的観察-判断サイクルとして定式化するために提案する。 OmniAgentはオンデマンドアクションを実行し、音声視覚キューを永続的なテキストメモリに選択的に蒸留する。 我々は,OmniAgentがオープンソースモデル間の最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-17T17:59:56Z)
• Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception [18.565166776233223]
  SVLM(Small Vision-Language Models)は効率的なタスクコントローラであるが、視覚的脆さとツールオーケストレーションの貧弱さに悩まされることが多い。 SPECTRA(Cascaded Tool Rollout Alignment)で実現可能な自己教師型知覚法を提案する。 SPECTRAはSVLMのコールドスタート強化学習を通じてエージェント機能をブートストラップする。
  論文  参考訳（メタデータ） (2026-04-19T15:06:30Z)
• AuTAgent: A Reinforcement Learning Framework for Tool-Augmented Audio Reasoning [36.67330306977483]
  大規模音声言語モデル(LALM)は知覚に優れるが、正確な音響測定を必要とする複雑な推論に苦労する。 我々は、いつ、どのツールを呼び出すかを学習する強化学習フレームワークであるAuTAgentを提案する。
  論文  参考訳（メタデータ） (2026-02-14T09:12:20Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• OmniAgent: Audio-Guided Active Perception Agent for Omnimodal Audio-Video Understanding [23.176694412214157]
  オムニアジェント(OmniAgent)は、完全音声誘導能動的知覚エージェントである。 本稿では、受動応答生成からアクティブマルチモーダル探索へのパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2025-12-29T17:59:05Z)
• MindWatcher: Toward Smarter Multimodal Tool-Integrated Reasoning [55.221850286246]
  我々は、インターリーブド思考とマルチモーダル・チェーン・オブ・シークレット(CoT)推論を備えたツール統合推論エージェントであるMindWatcherを紹介する。 MindWatcherは、さまざまなツールの呼び出しと使用の調整を自律的に行うことができる。 車、動物、植物を含む8つのカテゴリをカバーする、大規模で高品質な局所画像検索データベースは、堅牢な物体認識モデルを提供する。
  論文  参考訳（メタデータ） (2025-12-29T12:16:12Z)
• Iterative Tool Usage Exploration for Multimodal Agents via Step-wise Preference Tuning [68.00304954972232]
  コントローラ、例えば視覚言語モデルと外部ツールを統合するマルチモーダルエージェントは、複雑なマルチモーダルタスクに対処する際、顕著な能力を示した。 これらのエージェントを訓練するための既存のアプローチは、広範囲なヒューマン・アノテートされたタスク・アンサー・ペアとツール・トラジェクトリに依存している。 本研究では,事前に収集したデータのないマルチモーダルエージェント,すなわち SPORT の反復ツール利用探索手法を提案する。 Sportには、タスク合成、ステップサンプリング、ステップ検証、優先度調整の4つの反復的なコンポーネントがある。
  論文  参考訳（メタデータ） (2025-04-30T12:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。