Fugu-MT 論文翻訳(概要): Omni-Streaming Thinking

論文の概要: Omni-Streaming Thinking

arxiv url: http://arxiv.org/abs/2609.15128v1
Date: Mon, 14 Sep 2026 07:05:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:06.124412
Title: Omni-Streaming Thinking
Title（参考訳）: Omni-Streaming シンキング
Abstract要約: オームニモーダルモデルのストリーミングは、これまで観察されたビデオチャンクと同期オーディオから何といつ答えるかを決定する必要がある。我々は,これまでに観察された証拠,今後の証拠の予測,及びこの証拠に基づく主張を含む構造化された出力を生成するOmni-Streaming Thinking (OST)を提案する。
参考スコア（独自算出の注目度）: 57.37011317711198
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Streaming omni-modal models must decide what and when to answer from the video chunks and synchronized audio observed so far. Visual cues often support an interpretation before an utterance or sound event is complete. If that interpretation enters memory as a fact, later reasoning can keep relaying it even after audio contradicts it. We call this failure premature cross-modal commitment. We propose Omni-Streaming Thinking (OST), which generates structured outputs that include evidence observed so far, forecasts of future evidence, and claims based on this evidence. Each claim is initially marked as pending and linked to a future verification interval. Audio and visual evidence are stored separately, and OST checks a claim against the evidence from the specified modality at the end of the verification interval. When contradictory evidence is detected, a refutation process reduces the influence of the claim and its dependent states, and then guides a state update using the new evidence. An answer gate decides whether the answer-critical claims meet the conditions for giving a response. Using a frozen Qwen3-Omni-30B-A3B-Instruct backbone with lightweight adaptation, OST outperforms the strongest open baselines on five streaming and audio-visual benchmarks by more than 10% relative on average. We also introduce OST-DiagBench, which holds video fixed and edits audio to test agreement, absence, contradiction, coexistence, and subtitle-speech conflict. OST reaches d-prime = 2.95, compared with at most 1.38 for open baselines, while reducing vision-induced auditory hallucinations.
Abstract（参考訳）: オームニモーダルモデルのストリーミングは、これまで観察されたビデオチャンクと同期オーディオから何といつ答えるかを決定する必要がある。視覚的なキューは、発話や音のイベントが完了する前に解釈をサポートすることが多い。その解釈が事実としてメモリに入ると、後続の推論は音声が矛盾した後もそれを中継し続けることができる。私たちはこの失敗を、時期尚早なクロスモーダルコミットメント(cross-modal commitment)と呼んでいる。我々は,これまでに観察された証拠,今後の証拠の予測,及びこの証拠に基づく主張を含む構造化された出力を生成するOmni-Streaming Thinking (OST)を提案する。各クレームは、最初は保留としてマークされ、将来の検証インターバルにリンクされる。音声と視覚の証拠は別々に保管され、OSTは検証間隔の終了時に指定されたモダリティから証拠に対する主張をチェックする。矛盾する証拠が検出されると、難読化プロセスはクレームとその依存状態の影響を低減し、新しい証拠を使用して状態更新を誘導する。応答ゲートは、応答クリティカルなクレームが応答を与える条件を満たすかどうかを決定する。冷凍されたQwen3-Omni-30B-A3B-Instructバックボーンを軽量な適応で使用することにより、OSTは5つのストリーミングおよびオーディオ視覚ベンチマークにおいて、平均して10%以上の高いベースラインを達成している。 OST-DiagBenchは、ビデオの固定と編集を行い、合意、不一致、矛盾、共存、字幕・音声紛争をテストする。 OST は d-prime = 2.95 に達し、オープンベースラインでは少なくとも 1.38 であるのに対し、視覚による聴覚幻覚は減少する。

関連論文リスト

Video-HolmesV2: Can MLLMs Reason with Spatio-Temporal Audio-Visual Evidence in Long Videos? [22.544360578469156]
本稿では,Deep Audio-Visual Couplingの新しいベンチマークであるVideo-Holmes-V2を紹介する。 Evidence-Based Evaluation(エビデンス・ベース・アセスメント)を施行し、正確な時間的オーディオ視覚的証拠で答えを正当化するモデルを必要とする。提案手法は, 長い音質を緩和するため, 高値推論キューを蒸留する。
論文参考訳（メタデータ） (2026-09-15T14:30:00Z)
Navigating Sparse Evidence: Agentic Visual RAG via Explicit Context Selection and Consolidation [50.92223196290564]
明示的な証拠選択と統合のための統一エージェントループを提案する。探索中、SCoREはクエリ関連観測とソースポインタのみを保守されたテキスト台帳に保持する。終了時には、参照された元のイメージを再ロードし、答えの視覚的証拠を統合し、論理的なシーケンスにアレンジする。
論文参考訳（メタデータ） (2026-09-14T16:11:35Z)
Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts [49.97842835825998]
既存のベンチマークでは、知覚信号と命題信号の2つの形態の証拠が記述されている。本稿では,視覚,音声,テキストを交叉するベンチマークであるTri-PvPを紹介する。多くのモデルとエビデンス型条件で頑健な視覚バイアスが見つかり、重要なことはエビデンス型バイアスの系統的な非対称性を明らかにすることである。
論文参考訳（メタデータ） (2026-09-05T10:33:58Z)
Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study [2.648500779572419]
ビデオ質問応答システムは、引用フレームがサポートしていない場合でも、高信頼のタイムスタンプ付きクレームを生成することが多い。この偽りの幻覚は、タイムスタンプが正確さを保証せず、ユーザーの信頼を増すが正確さを示さないために生じる。検索拡張言語モデルドラフトは、評価タイムスタンプ毎の引用で回答し、各引用フレームは、ユーザに表示される前に独立して再検査される。
論文参考訳（メタデータ） (2026-08-16T06:42:11Z)
StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering [39.92453666681465]
StreamOVは、バウンドメモリとプロアクティブ応答トリガを備えた効率的なオンラインオーディオ視覚推論のための、新しいStreaming Omni-Video理解フレームワークである。応答のタイミングを決定するために、隠れ状態駆動のトリガーを使用しており、明示的なサイレントトーケン生成と外部ルータを避けている。さまざまなストリーミングとビデオのベンチマークで最先端のパフォーマンスを実現し、オンラインとオフラインの両方のビデオ理解に有効であることを実証している。
論文参考訳（メタデータ） (2026-05-25T09:23:19Z)
When Vision Speaks for Sound [31.08404410801052]
ビデオ対応MLLMの急速な進歩にもかかわらず、ビデオにおける明らかな音声理解はビジョン駆動であることが多い。この問題は、最先端のオープンソースオムニモデルと、GoogleやOpenAIといったプロバイダによるクローズドソースモデルの両方にまたがっている。我々は、この障害モードを、モデルが(頻繁に)オーディオグラウンドに現れるが、実際にオーディオとビジュアルストリームが本当に一致しているかどうかを検証せずに、視覚-音響相関を利用する、オーディオ-ビジュアル・クリーバー・ハンス効果として特徴付けている。
論文参考訳（メタデータ） (2026-05-13T05:00:19Z)
Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。 SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
論文参考訳（メタデータ） (2026-05-11T02:50:27Z)
VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。 GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文参考訳（メタデータ） (2026-04-02T03:29:43Z)
PAVE: Premise-Aware Validation and Editing for Retrieval-Augmented LLMs [8.082352336629816]
PAVEは、根拠に基づく質問応答のための推論時検証層である。検索されたコンテキストを質問条件のアトミックな事実に分解し、回答をドラフトし、抽出された前提によってそのドラフトがどの程度うまくサポートされているかをスコアし、ファイナライズ前に低サポート出力を更新する。
論文参考訳（メタデータ） (2026-03-21T06:23:21Z)
A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
論文参考訳（メタデータ） (2024-03-07T06:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。