論文の概要: OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

• arxiv url: http://arxiv.org/abs/2610.02181v1
• Date: Thu, 01 Oct 2026 17:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.365426
• Title: OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
• Title（参考訳）: OmniSeek:マルチターンオーディオ-ビジュアル推論のためのネイティブツール統合
• Abstract要約: 我々はOmni-LLM(Omni Large Language Model)をアクティブなマルチターン推論エージェントに変換するエージェントフレームワークであるOmniSeekを紹介する。 OmniSeekは、1回のフォワードパスで音声と視覚のシーケンス全体を受動的に処理する代わりに、推論プロセスの一部として証拠を取得する。
• 参考スコア（独自算出の注目度）: 43.3119747568498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present OmniSeek, an agentic framework that transforms an Omni Large Language Model (Omni-LLM) into an active, multi-turn reasoning agent with native tool use. Rather than passively processing an entire audio-visual sequence in a single forward pass, OmniSeek makes evidence acquisition part of the reasoning process: it dynamically decides whether to look or listen, and over which temporal window, to retrieve sparse but critical evidence across different modalities within long contexts. Through an iterative multi-turn protocol, the retrieved raw audio or visual segments are appended back into the context to support subsequent reasoning. To cold-start this capability, we build a data engine that synthesizes OmniTraj-170K, a corpus of multi-hop Chain-of-Thought trajectories with interleaved audio and visual evidence. We first supervise the model on these trajectories to instill multi-turn tool-use behavior, and then further optimize the policy via a two-stage reinforcement learning with verifiable rewards. Moreover, we introduce an Audio-Visual Necessity objective that explicitly rewards successful trajectories whose reasoning depends on both modalities, discouraging single-modality shortcuts. Extensive experiments across a wide range of benchmarks demonstrate that OmniSeek learns adaptive cross-modal evidence seeking and consistently improves audio-visual reasoning performance.
• Abstract（参考訳）: 我々はOmni-LLM(Omni Large Language Model)をネイティブツールを用いたアクティブなマルチターン推論エージェントに変換するエージェントフレームワークであるOmniSeekを紹介する。 OmniSeekは、単一のフォワードパスで音声と視覚のシーケンス全体を受動的に処理する代わりに、推論プロセスのエビデンスを取得する。 反復的マルチターンプロトコルにより、検索した生オーディオまたは視覚セグメントをコンテキストに付加し、その後の推論をサポートする。 この機能をコールドスタートするために、私たちはマルチホップのChain-of-Thought軌道のコーパスであるOmniTraj-170Kを、インターリーブされたオーディオと視覚的証拠で合成するデータエンジンを構築した。 まず、これらの軌道上のモデルを監督し、多ターンツールの使用行動を補足し、さらに2段階強化学習により、検証可能な報酬でポリシーを最適化する。 さらに、両方のモダリティに依存した軌道を成功させ、単一モダリティのショートカットを阻害するオーディエンス・ビジュアル・ネッショナリティの目的を導入する。 幅広いベンチマークにわたる大規模な実験により、OmniSeekはアダプティブなクロスモーダルエビデンスを学習し、一貫してオーディオ・視覚的推論性能を改善していることが示された。

関連論文リスト

• Empowering Long-form Omni-modal Understanding with Robust Audio Perception [48.23485436432239]
  AVDC(Audio-Visual Decoupled Captions)は、視覚と聴覚のセマンティクスをアンタングルするために設計された大規模データセットである。 AVDCは、モダリティ固有のニュアンスと複雑なクロスモーダル相互作用の両方をキャプチャする。 AVDC-QA-CoTは、音声ビジュアル推論を促進するために、Chain-of-Thoughtの拡張された質問応答データセットである。
  論文  参考訳（メタデータ） (2026-07-11T13:04:24Z)
• Sandboxed Coding Agents are Competitive Omni-modal Task Solvers [22.269016330825128]
  テキスト・イメージ・アクセスとサンドボックス・ツール・ユース・インタフェースしか持たないコーディング・エージェントがSOTAネイティブ・オムニモーダル・モデルと一致することを示す。 私たちの軌道分析は、その強みがコードを書き、関連する証拠を抽出するためのツールを編成することに由来することを示唆しています。 我々は,OmniCodingトラジェクトリデータセットと検証可能な報酬を含むトレーニングレシピであるCode-Xを紹介し,Qwen-3.5-9BとQwen-3.6-27Bのベースラインを提供する。
  論文  参考訳（メタデータ） (2026-05-30T07:04:27Z)
• Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning [39.54930573140777]
  AOP-AgentはオープンソースのOmni-LLM上に構築された効率的なエージェントフレームワークである。 MOV-BenchとOmniVideoBenchの実験では、AOP-Agentは推論性能を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-27T09:11:59Z)
• OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering [53.30273345137238]
  我々は、時間的順序付けプロキシタスクに基づいて構築された汎用的な自己教師型フレームワークであるOmniJigsawを提案する。 クロスモーダル統合を強制するために、ジョイントモダリティ統合、サンプルレベルモダリティ選択、クリップレベルモダリティマスキングが使用される。 両モードのショートカット現象'を共同モダリティ統合で明らかにし,細粒度クリップレベルのモダリティマスキングがこの問題を緩和することを示した。
  論文  参考訳（メタデータ） (2026-04-09T13:09:40Z)
• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• OmniAgent: Audio-Guided Active Perception Agent for Omnimodal Audio-Video Understanding [23.176694412214157]
  オムニアジェント(OmniAgent)は、完全音声誘導能動的知覚エージェントである。 本稿では、受動応答生成からアクティブマルチモーダル探索へのパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2025-12-29T17:59:05Z)
• Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception [97.32606786622728]
  我々は、データパイプライン、モデル、ベンチマークの観点から、Omniの詳細な認識を体系的で包括的に調査する。 ツールコールを統合したエージェントデータ生成パイプラインであるOmni-Detectiveを提案する。 Omni-Detectiveで生成されたデータに基づいて、2つのキャプションモデル:音声のみの詳細な知覚のためのオーディオ・キャプション・キャプション・モデルと、音声視覚による詳細な知覚のためのOmni-Captionerを訓練する。
  論文  参考訳（メタデータ） (2025-10-14T17:00:09Z)
• OmniSep: Unified Omni-Modality Sound Separation with Query-Mixup [50.70494796172493]
  Omni-modal Sound separation (OmniSep) は、Omni-modal クエリに基づいてクリーンなサウンドトラックを分離できる新しいフレームワークである。 トレーニング中に異なるモダリティからクエリ機能をブレンドするQuery-Mixup戦略を導入する。 我々は、クエリーが音の分離に肯定的または否定的に影響を与え、特定の音の保持や除去を容易にすることにより、この柔軟性をさらに強化する。
  論文  参考訳（メタデータ） (2024-10-28T17:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。