論文の概要: Empowering Long-form Omni-modal Understanding with Robust Audio Perception
- arxiv url: http://arxiv.org/abs/2607.10299v1
- Date: Sat, 11 Jul 2026 13:04:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.387731
- Title: Empowering Long-form Omni-modal Understanding with Robust Audio Perception
- Title（参考訳）: ロバスト・オーディオ・パーセプションによる長文Omniモーダル理解
- Abstract要約: AVDC(Audio-Visual Decoupled Captions)は、視覚と聴覚のセマンティクスをアンタングルするために設計された大規模データセットである。
AVDCは、モダリティ固有のニュアンスと複雑なクロスモーダル相互作用の両方をキャプチャする。
AVDC-QA-CoTは、音声ビジュアル推論を促進するために、Chain-of-Thoughtの拡張された質問応答データセットである。
- 参考スコア（独自算出の注目度）: 48.23485436432239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large-scale multimodal models have drivenremarkable progress in vision-language tasks; however, comprehensiveomni-modal understanding remains under-explored, largely due to thescarcity of datasets with rich, explicitly aligned auditory cues. To bridgethis gap, we present AVDC (Audio-Visual Decoupled Captions), a large-scaledataset designed to disentangle visual and auditory semantics. Specifi-cally, we propose an automated pipeline that leverages off-the-shelf mod-els to annotate videos with tripartite captions: visual-only (V), audio-only (A), and joint audio-visual (AV). This decoupled structure explic-itly captures both modality-specific nuances and complex cross-modalinteractions. Building upon this, we introduce AVDC-QA-CoT, a Chain-of-Thought augmented question-answering dataset to foster audio-visualreasoning. To fully exploit these resources, we employ a two-stage train-ing paradigm: omni-modal caption generation pre-training on AVDC, fol-lowed by instruction tuning on AVDC-QA-CoT. Extensive experiments acrossdiverse downstream tasks, spanning video captioning, audio-centric anal-ysis, and omni-modal benchmarks, demonstrate consistent and signifi-cant performance gains, showing the efficacy of our proposed datasetsand training strategy in advancing omni-modal perception. Code anddataset are related on https://radiant0726.github.io/AVDC-web/.
- Abstract（参考訳）: 大規模マルチモーダルモデルの最近の進歩は、視覚言語タスクの顕著な進歩を導いているが、包括的モーダル理解は、リッチで明確に整列された聴覚的手がかりを持つデータセットの密集性のため、未発見のままである。
AVDC(Audio-Visual Decoupled Captions)は視覚と聴覚のセマンティクスを分離する大規模データセットである。
視覚のみ (V), 音声のみ (A), 共同視覚(AV) の3つの字幕で動画に注釈を付けるために, オフザシェル・モジュールを利用する自動パイプラインを提案する。
この疎結合構造は、モダリティ固有のニュアンスと複雑なクロスモーダル相互作用の両方を明示的にキャプチャする。
そこで我々は,AVDC-QA-CoTを導入した。
これらの資源をフル活用するために,AVDC上でのオムニモーダルキャプション生成と,AVDC-QA-CoTでのインストラクションチューニングによるfol-lowedという2段階のトレインリングパラダイムを用いる。
ビデオキャプション,オーディオ中心のアナルイシス,オムニモーダルベンチマークなど,下流のタスクにまたがる広範囲な実験により,一貫した,シグニフィカントなパフォーマンス向上を示すとともに,提案したデータセットとトレーニング戦略がオムニモーダル知覚の前進に有効であることを示す。
コードとデータセットはhttps://radiant0726.github.io/AVDC-web/に関連付けられている。
関連論文リスト
- AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation [47.70199516002865]
音声ビデオ生成のための新しい統一トークンである textbfAVTok を提案する。
AVTokは、共有エンコーダデコーダとモーダル固有の学習可能なクエリを備えたデュアルストリームトランスフォーマーベースのアーキテクチャを備えている。
AVTokは、オーディオ・ビデオ再生と、オーディオ・トゥ・ビデオ、ビデオ・トゥ・オーディオ、およびクラス条件のジョイント・オーディオ・ビデオ生成のための下流パイプラインに統合された場合の両方に優れることを示した。
論文 参考訳（メタデータ） (2026-06-29T18:35:17Z) - Apollo: Unified Multi-Task Audio-Video Joint Generation [15.004783109205666]
非商業的アプローチは、音声・視覚的非同期性、唇・音声のアライメントの低さ、そして一過性の劣化に悩まされている。
モデルアーキテクチャ、トレーニング戦略、データキュレーションの3つにApolloとDelveを導入します。
データセットについては,大容量キャプションを用いた最初の大規模オーディオビデオデータセットを提示する。
論文 参考訳（メタデータ） (2026-01-07T18:03:45Z) - Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning [44.518249924335045]
Perception Audiovisual(PE-AV)は、大規模コントラスト学習で訓練された音声およびビデオ理解のためのエンコーダの新たなファミリーである。
PE上に構築されたPE-AVは、オーディオへの表現の拡張にいくつかの重要な貢献を行い、オーディオ・ビデオ、オーディオ・テキスト、ビデオ・テキスト・モダリティ間の共同埋め込みをサポートする。
論文 参考訳（メタデータ） (2025-12-22T18:59:07Z) - Spatial and Semantic Embedding Integration for Stereo Sound Event Localization and Detection in Regular Videos [3.2472293599354596]
本報告では,DCASE2025 Task 3 Challenge: Stereo Sound Event Localization and Detection in regular Video Contentの音声のみおよび音声視覚トラックに提案するシステムについて述べる。
SELDは、時間的事象分類と空間的局所化を組み合わせた複雑なタスクであり、空間的、時間的、意味的な次元にわたって推論を必要とする。
そこで本研究では,音声用CLAPと視覚入力用OWL-ViTという,事前学習型コントラスト言語対応モデルを統合することで,セマンティック情報を用いた標準的なSELDアーキテクチャを強化した。
論文 参考訳（メタデータ） (2025-07-07T10:08:57Z) - Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models [35.86252379746625]
本研究の目的は、音声・視覚大言語モデル(AV-LLM)におけるバランスの取れたマルチモーダル理解を強化することである。
現在のAV-LLMでは、オーディオとビデオの機能はデコーダで共同で処理されるのが一般的である。
Fork-Merge Decoding (FMD) は、追加のトレーニングやアーキテクチャの変更を必要としない、シンプルで効果的な推論時間戦略である。
論文 参考訳（メタデータ） (2025-05-27T08:22:56Z) - AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。
本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
論文 参考訳（メタデータ） (2025-04-06T13:59:16Z) - AVS-Mamba: Exploring Temporal and Multi-modal Mamba for Audio-Visual Segmentation [62.682428307810525]
音声・視覚的セグメンテーションタスクに対処する選択状態空間モデルであるAVS-Mambaを導入する。
我々のフレームワークはビデオ理解とクロスモーダル学習の2つの重要な要素を取り入れている。
提案手法は, AVSBench-object と AVS-semantic のデータセット上で, 最新の結果を実現する。
論文 参考訳（メタデータ） (2025-01-14T03:20:20Z) - Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。
具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。
我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
論文 参考訳（メタデータ） (2023-09-20T17:59:32Z) - Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。
既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。
タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
論文 参考訳（メタデータ） (2023-09-13T05:05:47Z) - AV-data2vec: Self-supervised Learning of Audio-Visual Speech
Representations with Contextualized Target Representations [88.30635799280923]
AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。
LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-10T02:55:52Z) - Learnable Irrelevant Modality Dropout for Multimodal Action Recognition
on Modality-Specific Annotated Videos [10.478479158063982]
本稿では,アクション認識のための視覚特異的アノテーション付きビデオにおける音声モダリティを効果的に活用するための新しいフレームワークを提案する。
我々は、各ビデオラベルをK関連オーディオラベルにマッピングするセマンティックオーディオビデオラベル辞書(SAVLD)を構築した。
また、視覚的モダリティを効率的にモデル化する2ストリームビデオトランスも提案する。
論文 参考訳（メタデータ） (2022-03-06T17:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。