論文の概要: SyncRA: Learning Temporal Correspondence in Omni-Modal Models

• arxiv url: http://arxiv.org/abs/2609.34363v1
• Date: Mon, 28 Sep 2026 05:40:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:30:00.857116
• Title: SyncRA: Learning Temporal Correspondence in Omni-Modal Models
• Title（参考訳）: SyncRA:Omni-Modalモデルにおける時間対応学習
• Abstract要約: 音声と視覚の時間的対応を強化する軽量なSyncRAを提案する。 5つの公開ビデオベンチマークで、異なるサイズとアーキテクチャにまたがる4つのオープンオムニモーダルモデルに対してSyncRAを評価した。
• 参考スコア（独自算出の注目度）: 4.652935587195116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent omni-modal models demonstrate strong perception of audio and visual inputs, yet often struggle to connect what they hear with what they see at the same moment. This weakness in temporal correspondence can cause models to associate spoken cues with the wrong visual scenes, producing plausible answers grounded in incorrect audio-visual pairings. We diagnose this problem through controlled temporal swaps, revealing that model answers do not reliably follow changes in these pairings. To address it, we propose Synchrony-Guided Representation Alignment (SyncRA), a lightweight method for strengthening temporal correspondence between audio and vision. Specifically, SyncRA contrasts intermediate audio-visual representations within each video, aligning matching moments while separating mismatched ones to capture local temporal correspondence within a shared global context. The objective derives supervision directly from existing input timing, requiring no additional annotations and leaving inference unchanged. We evaluate SyncRA across four open omni-modal models spanning different sizes and architectures on five public video benchmarks. SyncRA consistently outperforms answer-only fine-tuning across all model-benchmark combinations, while substantially improving the ability to track changing audio-visual pairings in controlled evaluations. These results demonstrate that lightweight, targeted supervision can effectively strengthen temporal correspondence and translate into broad improvements in audio-visual question answering.
• Abstract（参考訳）: 最近のOmni-Modalモデルでは、音声や視覚的な入力に対する認識が強くなっているが、耳に聞こえるものを同時に見るものと結びつけるのに苦労することが多い。 この時間的対応の弱さは、モデルが音声の手がかりと間違った視覚シーンを関連付け、誤った音声と視覚のペアリングを基礎とした、もっともらしい答えを生み出す可能性がある。 我々は時間的スワップ制御によりこの問題を診断し、モデル回答がこれらのペアリングの変化に確実に従わないことを示した。 そこで我々はSyncRA(Synchrony-Guided Representation Alignment)を提案する。 具体的には、SyncRAは、各ビデオ内の中間的な音声・視覚的表現を対比し、一致したモーメントを整列し、不一致したモーメントを分離して、共有グローバルコンテキスト内の局所的時間対応をキャプチャする。 目的は、既存の入力タイミングから直接監視を導き、追加のアノテーションを必要とせず、推論も変わらない。 5つの公開ビデオベンチマークで、異なるサイズとアーキテクチャにまたがる4つのオープンオムニモーダルモデルに対してSyncRAを評価した。 SyncRAは、すべてのモデルとベンチマークの組み合わせで解答のみの微調整を一貫して上回り、コントロールされた評価において変化するオーディオと視覚のペアリングを追跡する能力を大幅に改善する。 これらの結果は、軽量で標的とした監視が、時間的対応を効果的に強化し、音声-視覚的質問応答の幅広い改善をもたらすことを示している。

関連論文リスト

• OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation [73.57253966578186]
  OmniVAEは、音声とビデオの潜伏表現の微粒なセマンティックアライメントを学習する、共同で訓練されたオーディオビデオVAEである。 実験により、両方の目的が常に潜在空間の学習性を改善することが示された。
  論文  参考訳（メタデータ） (2026-07-26T21:51:28Z)
• Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning [46.57717326362359]
  TCA-Captionerは、音声映像キャプションのためのテンポラルアライメントとクロスモーダルアライメントを強化するために特別に設計されたフレームワークである。 キュレートされた高密度のヒューマンインタラクションデータセットを活用して、TCA-Captionerは洗練されたオーディオ視覚インタラクションをモデル化するように最適化されている。 広汎な実験により、TCA-Captionerは時間的コヒーレントで同期化されたオーディオ視覚的物語の新しい標準を定めている。
  論文  参考訳（メタデータ） (2026-07-02T03:47:45Z)
• When Vision Speaks for Sound [31.08404410801052]
  ビデオ対応MLLMの急速な進歩にもかかわらず、ビデオにおける明らかな音声理解はビジョン駆動であることが多い。 この問題は、最先端のオープンソースオムニモデルと、GoogleやOpenAIといったプロバイダによるクローズドソースモデルの両方にまたがっている。 我々は、この障害モードを、モデルが(頻繁に)オーディオグラウンドに現れるが、実際にオーディオとビジュアルストリームが本当に一致しているかどうかを検証せずに、視覚-音響相関を利用する、オーディオ-ビジュアル・クリーバー・ハンス効果として特徴付けている。
  論文  参考訳（メタデータ） (2026-05-13T05:00:19Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• Exploiting Temporal Audio-Visual Correlation Embedding for Audio-Driven One-Shot Talking Head Animation [62.218932509432314]
  従来,隣接する音声クリップの時間的関係は,対応する映像フレームの時間的関係と強く相関している。 音声と視覚の相関関係を学習し,その相関関係を統合し,特徴表現の強化と最終生成の正規化を支援する。
  論文  参考訳（メタデータ） (2025-04-08T07:23:28Z)
• Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual Speech Separation [73.1652905564163]
  本稿では,音声-視覚的ニューラル処理を用いて音声信号と映像を分離する問題に対処する。 従来の手法では、フレームワイドマッチング基準を用いて、音声とビデオの共有情報を抽出する。 音声と視覚ストリーム間の局所的な親和性だけでなく,グローバル通信を学習するクロスモーダル親和性ネットワーク(CaffNet)を提案する。
  論文  参考訳（メタデータ） (2021-03-25T15:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。