論文の概要: OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning

• arxiv url: http://arxiv.org/abs/2609.39490v1
• Date: Wed, 30 Sep 2026 10:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.591537
• Title: OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning
• Title（参考訳）: OmniReasoning: オーディオ・ビジュアル・ジョイント・推論の限界を押し上げる
• Abstract要約: OmniReasoningBenchは、オーディオおよび視覚的証拠が不可欠であるベンチマークである。 我々はまた、データエンジンOmniQAと自己蒸留法Modality-Factored Self-Distillation (MFSD)を開発した。 トレーニングデータと学習法により,OmniVideoBenchは50.0%,OmniReasoningBenchは42.5%となるOmniReasoning-30B-A3Bが得られた。
• 参考スコア（独自算出の注目度）: 25.99088742292375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances have enabled unified omni-modal models in understanding audio, vision, and language. However, existing benchmarks, training data, and learning methods largely treat the modalities independently, leaving the capability of audio-visual joint reasoning poorly evaluated and insufficiently elicited. We address this gap with a benchmark, data engine, and learning method. First, we introduce OmniReasoningBench, a benchmark where both audio and visual evidence are indispensable. It comprises 1,150 multiple-choice and open-ended questions across two tasks, reasoning over video and reasoning beyond video. Second, we develop a data engine OmniQA. It automatically constructs evidence-grounded QA pairs that explicitly necessitate audio-visual joint reasoning, together with time-stamped clue chains that guide the annotation of thinking process. Besides our benchmark, this engine produces training data OmniReasoning-SFT-112K and OmniReasoning-RL-19K. Finally, we propose an on-policy self-distillation method Modality-Factored Self-Distillation (MFSD). It evaluates each sampled response under modality-specific clue contexts, disentangling the contributions of individual clues and their cross-modal interactions for token-level credit assignment. With our training data and learning method, our model OmniReasoning-30B-A3B achieves 50.0% on OmniVideoBench and 42.5% on OmniReasoningBench, improving the base model Qwen3-Omni-30B-A3B-Thinking by 12.8 and 9.3 percentage points, respectively. Moreover, it delivers substantial gains on general and long-video benchmarks, including Video-MME-v2. We hope our work offers a solid step for facilitating future research in omni-modal joint reasoning.
• Abstract（参考訳）: 近年の進歩により、音声、視覚、言語を理解するための統一オムニモーダルモデルが実現されている。 しかし、既存のベンチマーク、トレーニングデータ、学習方法は、ほとんど独立してモーダルを扱い、オーディオと視覚の関節推論の能力は評価が悪く、十分に引き出せないままである。 このギャップをベンチマーク、データエンジン、学習手法で解決する。 まず、OmniReasoningBenchというベンチマークを紹介します。 ビデオ以外の推論と推論という、2つのタスクにまたがる1150の多重選択とオープンエンドの質問で構成されている。 次に,データエンジンOmniQAを開発した。 音声と視覚のジョイント推論を明示的に必要とするエビデンス基底のQAペアと、思考プロセスのアノテーションをガイドする時間スタンプの手がかりチェーンを自動的に構築する。 ベンチマークの他に、このエンジンはトレーニングデータOmniReasoning-SFT-112KとOmniReasoning-RL-19Kを生成する。 最後に,MFSD(Modality-Factored Self-Distillation)を提案する。 それぞれのサンプル応答を、モダリティ特異的な手がかりコンテキストの下で評価し、トークンレベルのクレジット代入に対する個々の手がかりとそれらの相互モーダルな相互作用のコントリビューションを解消する。 OmniVideoBenchは50.0%,OmniVideoBenchは42.5%,ベースモデルQwen3-Omni-30B-A3B-Thinkingは12.8ポイント,A3B-Thinkingは9.3ポイント向上した。 さらに、Video-MME-v2など、一般的なおよび長時間のビデオベンチマークでも大幅に向上している。 我々の研究は、Omni-modal joint reasoningにおける将来の研究を促進するための確固たるステップを提供することを期待している。

関連論文リスト

• Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model [94.662023612079]
  MiniMax-H3は、マルチモーダルコンテキスト理解と、共有潜在フレームワークにおける共同音声視覚生成を結合する。 マルチモーダルアライメントはモデルの世界推論を改善することができるのか? この研究は、物理世界推論の4つの相補的な次元を中心に組織された総合的な評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-09-16T08:43:11Z)
• OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
  我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。 Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
  論文  参考訳（メタデータ） (2026-07-03T07:41:00Z)
• OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding [17.161087166882744]
  オムニプロ(OmniPro)は、オムニモーダル知覚、プロアクティブ応答、多様なビデオ理解タスクを共同で評価する最初のベンチマークである。 9つのサブタスクと3つの認知レベルにまたがる2,700人の人間認証サンプルで構成されており、6つの基本的なビデオ理解機能を含んでいる。 特に、サンプルの84%は音声信号(音声または非音声)を必要とし、各サンプルは、微細なマルチモーダル解析を可能にするために、モダリティ・アイソレーションラベルで注釈付けされている。
  論文  参考訳（メタデータ） (2026-05-18T15:55:22Z)
• TraceAV-Bench: Benchmarking Multi-Hop Trajectory Reasoning over Long Audio-Visual Videos [13.9567665031159]
  実世界の音声・視覚的理解には、疎く、時間的に分散し、視覚と聴覚の流れにまたがる証拠の連鎖が必要である。 TraceAV-Benchは、長時間の視覚的軌跡とマルチモーダル幻覚の堅牢性に対して、マルチホップ推論を共同で評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-05-08T11:06:43Z)
• LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
  このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。 我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。 オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
  論文  参考訳（メタデータ） (2026-03-19T17:58:13Z)
• JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation [16.067014259345743]
  我々は、データセット上で、視覚のみ、音声のみ、およびOmni-LLMを優先的に評価する。 最高性能のOmni-LLMでさえ平均精度は62.6%であり、ユニモーダルベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-14T17:23:21Z)
• OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs [72.425061028374]
  音声・視覚の相乗的理解を評価するためのベンチマークであるOmniVideoBenchを紹介する。 OmniVideoBenchは1000の高品質なQA(QA)ペアで構成され、それぞれにステップバイステップの推論トレースが付加されている。 我々はOmniVideoBenchをリリースし、より強力でより一般化可能な推論機能を持つMLLMの開発を促進する。
  論文  参考訳（メタデータ） (2025-10-12T16:34:00Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。