論文の概要: AVTrace: Diagnosing Audio-Visual Temporal Reasoning in Omni Models

• arxiv url: http://arxiv.org/abs/2609.19991v1
• Date: Thu, 17 Sep 2026 09:58:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.212897
• Title: AVTrace: Diagnosing Audio-Visual Temporal Reasoning in Omni Models
• Title（参考訳）: AVTrace:Omniモデルにおけるオーディオ・ビジュアルテンポラル推論の診断
• Abstract要約: AVTraceは、オンセットとスパングラウンド、同期、次ステップ予測、クロスモーダルローカライゼーション、チェーン解析、イベントコンディショナブル理解にまたがる診断スイートである。 基準ブラインド応答正規化と決定論的スコアリングを用いて,それぞれの入力構成に基づいて5つのオープンオムニモデルを評価する。
• 参考スコア（独自算出の注目度）: 21.282677668992275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omni models can describe video content, but can they locate events in time, preserve event order, and judge audio-visual synchronization? We introduce AVTrace (Audio-Visual Temporal Reasoning Assessment and Capability Evaluation), a silver-standard diagnostic suite spanning onset and span grounding, synchronization, next-step prediction, cross-modal localization, chain parsing, and event-conditioned comprehension. It contains 34,114 training examples and category-balanced development and test splits of 3,500 and 7,000 examples. We evaluate five open omni models under their respective input configurations using reference-blind response normalization followed by deterministic scoring. All five off-the-shelf systems score below the test split's majority-label baseline of 0.556 on synchronization verification, and obtain low scores on chain parsing and event-conditioned grounding and comprehension. Development-set perturbations reveal task-dependent sensitivity in Qwen3-Omni-30B to modality removal and changes in visual input processing, without isolating their underlying causes. Parameter-efficient temporal post-training improves Gemma4-E4B-it on several benchmark metrics. On three external image benchmarks, task metrics change modestly, including some degradations, while teacher-forcing perplexity decreases. Together, these findings show that semantic reference-text overlap should not be treated as a proxy for temporal localization, and that AVTrace can identify task-specific weaknesses while providing a testbed for temporal post-training.
• Abstract（参考訳）: Omniモデルはビデオコンテンツを記述することができますが、時間内のイベントの特定、イベント順序の保存、オーディオと視覚の同期の判断が可能ですか? AVTrace(Audio-Visual Temporal Reasoning Assessment and Capability Evaluation, AVTrace)は、オンセットとスパングラウンド、同期、次ステップ予測、クロスモーダルローカライゼーション、チェーンパーシング、イベントコンディショニングにまたがる銀標準診断スイートである。 34,114のトレーニングサンプルと、カテゴリバランスの取れた開発と、3500から7000のサンプルのテストスプリットを含んでいる。 基準ブラインド応答正規化と決定論的スコアリングを用いて,それぞれの入力構成に基づいて5つのオープンオムニモデルを評価する。 5つのオフ・ザ・シェルフシステムのスコアは、同期検証において、テストスプリットのマジョリティ・ラベルのベースライン0.556以下であり、連鎖解析とイベント条件のグラウンドと理解に関する低いスコアを得る。 発達型摂動はQwen3-Omni-30Bのタスク依存的な感受性を示し、その根本原因を分離することなく、モダリティの除去と視覚入力処理の変化を示す。 パラメータ効率のよい時間後トレーニングは、Gemma4-E4B-itをいくつかのベンチマークメトリクスで改善する。 3つの外部画像ベンチマークでは、いくつかの劣化を含むタスクメトリクスが適度に変化し、教師の強制パープレキシティは低下する。 これらの結果から,意味的参照テキストの重なりが時間的局所化のプロキシとして扱われるべきではないこと,また,AVTraceは時間的後トレーニングのためのテストベッドを提供しながらタスク固有の弱点を識別できることが示唆された。

関連論文リスト

• What's the Catch? Evaluating Temporal Consistency in Vision-Language Models [0.11121828451787184]
  視覚言語モデル (VLM) はビデオや画像系列のベンチマークで高い性能を発揮するが、時間構造を捉えているかどうかは不明だ。 連続するフレームとフレームレベルの異常をガウス雑音に置き換えることで、時間的異常を発生させるTimeCatchを導入する。 評価の結果,フレームレベルと時間的異常検出との間にはかなりのギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-08-24T16:40:49Z)
• Aionoscope: Debugging Latent-State Accessibility in Time-Series Representations [59.34593956287438]
  Aionoscope(アイオノスコープ)は、凍結した時系列表現における潜在状態のアクセシビリティを検査するための診断ツールである。 アイオノスコープはプロセス生成を観察レンダリングから切り離し、正確な分類と密度のラベルを持つシード合成ストリームを生成する。
  論文  参考訳（メタデータ） (2026-07-01T13:54:20Z)
• AV-SyncBench: Decoupled Benchmarking of Temporal and Semantic Audio-Visual Synchronization [21.773304314522345]
  音声・視覚同期のための時間的・意味的評価を分離する最初のベンチマークであるAV-SyncBenchを提案する。 このビデオは、Voice、Music、Soundの10のシナリオと5つの課題にまたがっている。 ベンチマークには3,269本の動画と38,390本のサンプルが含まれており、アライメントおよび下流タスクの特徴的品質を定量化するための5つの代表的なモデルを評価する。
  論文  参考訳（メタデータ） (2026-07-01T10:12:25Z)
• From Frames to Events: Rethinking Evaluation in Human-Centric Video Anomaly Detection [9.404376027901277]
  ポースベースのビデオ異常検出(VAD)は、プライバシー保護の性質と環境変動に対する堅牢性において大きな注目を集めている。 従来のフレームレベルの評価では、ビデオは孤立したフレームの集合として扱われ、現実の世界で異常がどのように現れ、行動するかを根本的に誤解している。 本稿では,階層的なガウススムースメントと適応二項化を備えたスコアリファインメントパイプラインと,イベントレベルの検出を直接生成するエンドツーエンドのデュアルブランチモデルという,時間的イベントローカライゼーションのための2つの戦略を紹介する。
  論文  参考訳（メタデータ） (2026-04-10T13:52:18Z)
• VISTA: Validation-Guided Integration of Spatial and Temporal Foundation Models with Anatomical Decoding for Rare-Pathology VCE Event Detection [39.50945484737978]
  我々は、RARE-VISIONタスクを、純粋にフレームワイズな分類タスクではなく、メトリック整列イベント検出問題として定式化する。 フレームレベルの強い視覚的意味論のためのDINOv3 ViT-L/16と、局所的時間的文脈のためのEndoFM-LVの2つの相補的バックボーンを組み合わせた。 検証の短縮は、補完的なバックボーン、検証誘導融合、解剖学的に認識された時間的デコーディングが、すべてイベントレベルのパフォーマンスに寄与することを示している。
  論文  参考訳（メタデータ） (2026-03-18T23:01:12Z)
• LEFT: Learnable Fusion of Tri-view Tokens for Unsupervised Time Series Anomaly Detection [53.191369031661885]
  教師なし時系列異常検出は、アノテーションの可用性を前提とせず、異常なタイムスタンプを識別するモデルを構築することを目的としている。 本稿では,非教師付きTSADフレームワークであるLearnable Fusion of Tri-view Tokens(LEFT)について述べる。 実世界のベンチマーク実験では、LEFTはSOTAベースラインに対して最高の検出精度を示し、FLOPの5倍、トレーニングの8倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-02-09T13:33:49Z)
• ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
  大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。 統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。 ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-09-18T16:55:09Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Towards Open-Vocabulary Audio-Visual Event Localization [59.23161248808759]
  本稿では,オープン語彙音声・視覚イベントのローカライズ問題を紹介する。 この問題は、音声・視覚イベントのローカライズと、推測時に見つからないデータの両方の明確なカテゴリの予測を必要とする。 OV-AVEBenchデータセットを提案する。
  論文  参考訳（メタデータ） (2024-11-18T04:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。