論文の概要: OmniReasoner: Thinking with Long Audio-Video via Native Tool Use

• arxiv url: http://arxiv.org/abs/2607.19339v1
• Date: Tue, 21 Jul 2026 17:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.52534
• Title: OmniReasoner: Thinking with Long Audio-Video via Native Tool Use
• Title（参考訳）: OmniReasoner: ネイティブツールを使って長時間のオーディオビデオを考える
• Authors: Yu Chen, Caorui Li, Ziyu Xiong, Yidong Wang, Mingqi Gao, Shuman Liu, Biao Liu, Chunfeng Yang, Anxiang Zeng, Haibo Zhang, Chaofan Chen,
• Abstract要約: OmniReasonerは、長いオーディオビデオで考えるためのツール・ユース・フレームワークである。 答える前にズームインツールを呼び出すかどうかを判断する。 TimeAnchorはツールの時間的引数を有効に保ち、粒度をまたいだラウンドトリップ一貫性を維持します。
• 参考スコア（独自算出の注目度）: 25.032571988845262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long audio-video reasoning is difficult for omnimodal LLMs because the decisive evidence is often sparse, cross-modal, and too expensive to preserve with uniformly high-fidelity inputs. We introduce OmniReasoner, a tool-use post-training framework for Thinking with Long Audio-Video: omni-modal LLMs learn, via supervised fine-tuning and reinforcement learning, to decide whether and where to call a zoom-in tool before answering. OmniReasoner first builds a low-cost global preview of the full stream and then, when needed, calls the zoom-in tool with a requested temporal interval for higher-fidelity visual and audio inspection before answering. Because the model observes different sampling granularities before and after this call -- a sparse global preview and a denser local clip -- we introduce TimeAnchor, which keeps the tool's temporal argument valid and round-trip-consistent across these granularities, rather than tied to frame indices from a particular sampling rate. To make this tool-use behavior trainable without expensive manual interval annotation, we build a Temporal Augmented Data Engine that synthesizes tool-use post-training trajectories by video editing and composition. Experiments across omnimodal and video benchmarks show that OmniReasoner improves both answer accuracy and temporal grounding while concentrating high-fidelity computation on informative regions. Code is available at https://github.com/RockyChen0205/OmniReasoner.
• Abstract（参考訳）: なぜなら、決定的な証拠は希薄で、クロスモーダルであり、一様に高忠実な入力で保存するには高すぎるためである。 我々は,Long Audio-Videoを用いた思考のためのツール使用後トレーニングフレームワークであるOmniReasonerを紹介した。 OmniReasonerはまず、全ストリームの低コストなグローバルプレビューを構築し、必要ならズームインツールを、要求された時間間隔で呼び出して、回答する前に高精細度のビジュアルおよびオーディオ検査を行う。 この呼び出しの前後で異なるサンプリングの粒度(グローバルプレビューとより密集したローカルクリップ)を観測するため、特定のサンプリングレートからフレームインデックスに結び付けるのではなく、ツールの時間的引数を有効にし、ラウンドトリップ一貫性を維持するTimeAnchorを導入します。 このツール使用動作を、高価な手動インターバルアノテーションを使わずにトレーニング可能にするため、ビデオ編集と合成により、ツール使用後の軌道を合成するテンポラル拡張データエンジンを構築した。 OmniReasonerは、情報領域における高忠実度計算を集中しながら、応答精度と時間的グラウンドの両方を改善した。 コードはhttps://github.com/RockyChen0205/OmniReasonerで入手できる。

関連論文リスト

• GigaChat Audio: Time-aware Large Audio Language Model [65.51589021112385]
  最大120分以上の入力を明示的にタイムスタンプで解答する時間認識型オーディオLLMを提案する。 提案手法は,カスケードパイプラインからの大規模合成監督を用いて,周期的時間マーカーと連続的な音声トークンをインターリーブする。
  論文  参考訳（メタデータ） (2026-07-11T16:34:25Z)
• LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
  このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。 我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。 オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
  論文  参考訳（メタデータ） (2026-03-19T17:58:13Z)
• OmniRAG-Agent: Agentic Omnimodal Reasoning for Low-Resource Long Audio-Video Question Answering [12.963349283282447]
  OmniRAG-Agent(英語版)は、予算付きロングオーディオビデオ推論のためのエージェント・オムニモーダルQA法である。 OmniLLMは、外部の銀行から短い、関連するフレームとオーディオスニペットを取り出すことができる。 エージェントループを使用して、ターンにまたがってツールを呼び出し、検索したエビデンスをマージして複雑なクエリに応答する。
  論文  参考訳（メタデータ） (2026-02-03T16:28:24Z)
• A Benchmark and Agentic Framework for Omni-Modal Reasoning and Tool Use in Long Videos [76.98722001848493]
  LongShOTBenchは、長めのマルチモーダルビデオ理解のための診断ベンチマークである。 これには、オープンエンド、インテント駆動の質問、シングルターンとマルチターンの対話、マルチモーダル推論とエージェントツールの使用を必要とするタスクが含まれる。 LongShOTAgentは、前処理、検索、反復的な精細化を通じて、長いビデオを分析するエージェントシステムである。
  論文  参考訳（メタデータ） (2025-12-18T18:59:27Z)
• LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling [87.98096428508181]
  LongVTは、Multimodal Chain-of-Tool-Thoughtを通じて"Thinking with Long Videos"を可能にするエンドツーエンドのエージェントフレームワークである。 我々は、LMM固有の時間的接地機能を利用して、特定のビデオクリップをズームインし、よりきめ細かいビデオフレームを再サンプリングするネイティブビデオトリミングツールを開発した。 トレーニングデータセットは, ツール統合型冷間始動微調整用247.9K試料, エージェント強化学習用1.6K試料, エージェント強化微調整用15.4K試料からなる。
  論文  参考訳（メタデータ） (2025-11-25T19:22:48Z)
• OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs [72.425061028374]
  音声・視覚の相乗的理解を評価するためのベンチマークであるOmniVideoBenchを紹介する。 OmniVideoBenchは1000の高品質なQA(QA)ペアで構成され、それぞれにステップバイステップの推論トレースが付加されている。 我々はOmniVideoBenchをリリースし、より強力でより一般化可能な推論機能を持つMLLMの開発を促進する。
  論文  参考訳（メタデータ） (2025-10-12T16:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。