論文の概要: Who Says What: Symbolic Trimodal Binding Mechanisms in Audio-Visual LLMs
- arxiv url: http://arxiv.org/abs/2609.31193v1
- Date: Fri, 25 Sep 2026 12:26:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.378108
- Title: Who Says What: Symbolic Trimodal Binding Mechanisms in Audio-Visual LLMs
- Title（参考訳）: シンボリック・トリモーダル・ボンディングのメカニズムは?
- Abstract要約: オーディオ・ビジュアルLLM(AVLLM)におけるトリモーダル・バインドの実現法について検討する。
オフザシェルフ型アクティブ話者検出(ASD)モデルを用いた音声視覚プロンプト手法を提案する。
ASDでプロンプトされたビデオの軽量な微調整は、これらを3つの一般的なAVベンチマークに拡張する。
- 参考スコア（独自算出の注目度）: 35.5732617912937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current Audio-Visual LLMs (AVLLMs) struggle with reasoning over videos featuring multi-speaker dialogues. In such videos, resolving "who says what" is crucial, which necessitates trimodal (text-audio-visual) binding. Motivated by these challenges, we systematically investigate how this trimodal binding is achieved in AVLLMs. Specifically, we identify emergent symbolic trimodal binding mechanisms in AVLLMs that utilize modality-specific symbolic variables. By encoding auditory and visual components into symbolic variables-capturing temporal utterance sequences and spatial entity coordinates, respectively-the model establishes cross-modal linking within this abstract space. Crucially, we reveal that when trimodal binding fails, the breakdown predominantly stems from misaligned audio-visual connections. To overcome this bottleneck, we introduce an audio-visual prompting method utilizing an off-the-shelf Active Speaker Detection (ASD) model. By simply overlaying visual bounding boxes on active speakers, this training-free approach yields immediate performance gains across four conversation-centric benchmarks. Moreover, lightweight fine-tuning of fewer than 300 steps on these ASD-prompted-videos extends these gains to three general AV benchmarks, suggesting the generalizability of our method.
- Abstract（参考訳）: 現在のAVLLM (Audio-Visual LLMs) は、マルチ話者対話を特徴とするビデオの推論に苦慮している。
このようなビデオでは、トリモーダル(テキスト・オーディオ・ヴィジュアル)バインディングを必要とする「誰が何を言うか」の解決が不可欠である。
これらの課題に乗じて, AVLLM においてこの三モーダル結合がどのように達成されるのかを系統的に検討する。
具体的には、モーダリティ特異的なシンボル変数を利用するAVLLMにおいて、創発的三モーダル結合機構を同定する。
聴覚成分と視覚成分を、時間的発話シーケンスと空間的実体座標を格納したシンボル変数に符号化することにより、この抽象空間内でのクロスモーダルリンクを確立する。
重要なことは、トリモーダル・バインドが失敗した場合、その分解は主にオーディオと視覚の接続が不一致であることから生じる。
このボトルネックを克服するために、オフザシェルフ能動話者検出(ASD)モデルを用いた音声視覚プロンプト手法を提案する。
アクティブスピーカーに視覚的バウンディングボックスをオーバーレイするだけで、4つの会話中心のベンチマークで即座にパフォーマンスが向上する。
さらに,これらSDプロンプトビデオの300段未満の軽量微調整は,これらを3つの一般的なAVベンチマークに拡張し,本手法の一般化可能性を示している。
関連論文リスト
- The Attention Triangle in Audio-Video Models [67.46972888113658]
音声・ビデオ拡散モデルは、テキスト、音声、視覚内容の調整にモーダルな注意を頼っているが、この機構は微妙で体系的な意味的漏洩をもたらす可能性がある。
テキスト,音声,ビデオストリームを接続する3つの横断的エッジからなる「注意三角形」を探索し,解析することにより,これらのモデルについて検討する。
音声は映像生成に影響を及ぼし、ビデオは音声生成に影響を及ぼす。
論文 参考訳（メタデータ） (2026-09-03T09:33:27Z) - OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering [53.30273345137238]
我々は、時間的順序付けプロキシタスクに基づいて構築された汎用的な自己教師型フレームワークであるOmniJigsawを提案する。
クロスモーダル統合を強制するために、ジョイントモダリティ統合、サンプルレベルモダリティ選択、クリップレベルモダリティマスキングが使用される。
両モードのショートカット現象'を共同モダリティ統合で明らかにし,細粒度クリップレベルのモダリティマスキングがこの問題を緩和することを示した。
論文 参考訳（メタデータ） (2026-04-09T13:09:40Z) - In-Context Audio Control of Video Diffusion Transformers [28.911323185865186]
本稿では,ビデオ拡散変換器(ICAC)の音環境制御について述べる。
本稿では,FullDiTに似た統合されたフルアテンションアーキテクチャにおいて,音声による映像生成のための音声信号の統合について検討する。
本研究では,注意パターンを制約して時間的アライメントを強制し,安定したトレーニングと優れたパフォーマンスを実現するMasked 3D Attention機構を提案する。
論文 参考訳（メタデータ） (2025-12-21T15:22:28Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。
意味論の欠如により、異種表現は誤った一致につながる可能性がある。
モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
論文 参考訳（メタデータ） (2025-07-28T11:46:35Z) - Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models [35.86252379746625]
本研究の目的は、音声・視覚大言語モデル(AV-LLM)におけるバランスの取れたマルチモーダル理解を強化することである。
現在のAV-LLMでは、オーディオとビデオの機能はデコーダで共同で処理されるのが一般的である。
Fork-Merge Decoding (FMD) は、追加のトレーニングやアーキテクチャの変更を必要としない、シンプルで効果的な推論時間戦略である。
論文 参考訳（メタデータ） (2025-05-27T08:22:56Z) - CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。
音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。
パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
論文 参考訳（メタデータ） (2025-05-02T12:59:58Z) - Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。
この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。
また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
論文 参考訳（メタデータ） (2023-08-16T11:20:23Z) - Learnable Irrelevant Modality Dropout for Multimodal Action Recognition
on Modality-Specific Annotated Videos [10.478479158063982]
本稿では,アクション認識のための視覚特異的アノテーション付きビデオにおける音声モダリティを効果的に活用するための新しいフレームワークを提案する。
我々は、各ビデオラベルをK関連オーディオラベルにマッピングするセマンティックオーディオビデオラベル辞書(SAVLD)を構築した。
また、視覚的モダリティを効率的にモデル化する2ストリームビデオトランスも提案する。
論文 参考訳（メタデータ） (2022-03-06T17:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。