論文の概要: Intervention, Not Shared Latents: Blocking Visual Shortcuts in Audio-Video Generation

• arxiv url: http://arxiv.org/abs/2609.22361v3
• Date: Wed, 23 Sep 2026 11:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.815223
• Title: Intervention, Not Shared Latents: Blocking Visual Shortcuts in Audio-Video Generation
• Title（参考訳）: 音声ビデオ生成における視覚的ショートカットをブロックするインターベンション
• Abstract要約: 共同オーディオビデオ(AV)ジェネレータは、イベントがどんなものか、どんなものかというデータに基づいて訓練される。 結果として生じる障害モードについて,エフェクト制御による因果関係について検討した。
• 参考スコア（独自算出の注目度）: 10.373688116423672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint audio--video (AV) generators are trained on data in which \emph{what an event looks like} and \emph{what it sounds like} are spuriously correlated. We present a \emph{controlled causal study} of the resulting failure mode. In an AV structural causal model where the audio is, by construction, independent of the video's nuisance appearance, models that let audio read video directly---through cross-attention or a shared latent---learn a \emph{visual shortcut}: they predict sound from appearance rather than the causal event and, when the appearance--event correlation is broken at test time, synthesize the wrong event's sound. Crucially, the popular remedy of routing both modalities through a \emph{shared common-cause latent} does \emph{not} fix this---a bottleneck, an unsupervised shared/private factorization, and a faithful shared-prior model all grab the appearance proxy and fail like the direct model. Blocking the shortcut instead requires an \emph{intervention on the nuisance}: under the stated assumptions we prove that counterfactual invariance is necessary and sufficient to identify the causal predictor, and we verify the mechanism from feature-vector SCMs to procedural pixel video, real images with spectrogram audio, moving real digits, and a conditional generator. On a \emph{real, pretrained} V2A generator (MMAudio), an input-intervention test shows the model is far from invariant to sound-irrelevant edits, though a generic-noise control reveals it is broadly input-brittle rather than specifically colour-shortcutting---clean isolation of the shortcut needs the controlled confounds our synthetic studies provide. We characterize \emph{when} the shortcut occurs, compare the objective against supervised counterfactual augmentation, and isolate the \emph{unknown-nuisance} regime---where the intervention cannot be applied---as the central open problem.
• Abstract（参考訳）: AV構造因果モデルでは、ビデオのニュアンスな外観から独立して、音声を直接読み取るモデルで、クロスアテンション(クロスアテンション)や共有ラテント(ラテント)を経由するモデルで、因果イベントよりも外見から音を予測し、テスト時に外見と外見の相関が壊れたときに、その音を誤って合成する。 重要なことに、両方のモダリティを \emph{shared common- because latent} を通じてルーティングするという一般的な治療法は、これを修正します -- ボトルネック、教師なしの共有/プライベートな因数分解、忠実な共有-プライアモデルはすべて、外観プロキシをつかみ、直接モデルのように失敗します。 提案する仮定では, 因果予測器を識別するには, 反ファクト的不変性が必要であることを証明し, 特徴ベクトルSCMからプロシージャ・ピクセル・ビデオ, スペクトログラム・オーディオを用いた実画像, 移動実桁, 条件付きジェネレータのメカニズムを検証する。 Emph{real, pretrained} V2A generator (MMAudio) では、入力干渉試験により、モデルが不変から無関係な編集には程遠いことが示されているが、一般的なノイズ制御により、ショートカットの明確な分離は、我々の合成研究が提供する制御されたコンファウンドを必要とする。 我々は,ショートカットの発生を特徴付けるとともに,教師付き反ファクト拡張に対する目的を比較するとともに,介入が適用不可能な<emph{unknown-nuisance>体制を分離する。

関連論文リスト

• Video-HolmesV2: Can MLLMs Reason with Spatio-Temporal Audio-Visual Evidence in Long Videos? [22.544360578469156]
  本稿では,Deep Audio-Visual Couplingの新しいベンチマークであるVideo-Holmes-V2を紹介する。 Evidence-Based Evaluation(エビデンス・ベース・アセスメント)を施行し、正確な時間的オーディオ視覚的証拠で答えを正当化するモデルを必要とする。 提案手法は, 長い音質を緩和するため, 高値推論キューを蒸留する。
  論文  参考訳（メタデータ） (2026-09-15T14:30:00Z)
• The Attention Triangle in Audio-Video Models [67.46972888113658]
  音声・ビデオ拡散モデルは、テキスト、音声、視覚内容の調整にモーダルな注意を頼っているが、この機構は微妙で体系的な意味的漏洩をもたらす可能性がある。 テキスト,音声,ビデオストリームを接続する3つの横断的エッジからなる「注意三角形」を探索し,解析することにより,これらのモデルについて検討する。 音声は映像生成に影響を及ぼし、ビデオは音声生成に影響を及ぼす。
  論文  参考訳（メタデータ） (2026-09-03T09:33:27Z)
• Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
  モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。 SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。 実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
  論文  参考訳（メタデータ） (2026-05-11T02:50:27Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Detecting and Mitigating Insertion Hallucination in Video-to-Audio Generation [29.443084496227026]
  Video-to-Audio世代は、ビデオのための自動サウンドに顕著な進歩を遂げた。 我々は、この現象を挿入幻覚と呼び、データセットバイアスによって引き起こされるシステム的リスクとみなす。 この問題の有病率と重症度を定量化する2つの新しい指標を導入する。 IHを緩和する新しいトレーニングフリー推論時間法であるPosterior Feature Correctionを提案する。
  論文  参考訳（メタデータ） (2025-10-09T11:08:07Z)
• Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing [58.9467115916639]
  本研究では, 核融合における非相関なクロスモーダルコンテキストを低減するために, メッセンジャー誘導型中間核融合変換器を提案する。 メッセンジャーは、完全なクロスモーダルコンテキストをコンパクトな表現に凝縮し、有用なクロスモーダル情報のみを保持する。 そこで我々は,無関係な音声情報の視覚事象予測への影響を抑えるために,クロスオーディオ予測整合性を提案する。
  論文  参考訳（メタデータ） (2023-11-14T13:27:03Z)
• Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
  本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。 既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。 本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-03T01:33:26Z)
• Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement [26.596930749375474]
  本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。 モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-02-08T11:45:02Z)
• Generating Visually Aligned Sound from Videos [83.89485254543888]
  自然ビデオから音を生成するタスクに焦点をあてる。 音は時間的にも内容的にも視覚信号と一致しているべきです。 カメラの外部で発生する音は、ビデオコンテンツから推測することはできない。
  論文  参考訳（メタデータ） (2020-07-14T07:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。