論文の概要: TB-AVA: Text as a Semantic Bridge for Audio-Visual Parameter Efficient Finetuning

• arxiv url: http://arxiv.org/abs/2605.11572v2
• Date: Wed, 13 May 2026 06:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 17:13:58.889223
• Title: TB-AVA: Text as a Semantic Bridge for Audio-Visual Parameter Efficient Finetuning
• Title（参考訳）: TB-AVA:音響・視覚パラメータ効率的なファインタニングのためのセマンティックブリッジとしてのテキスト
• Authors: Seongah Kim, Dinh Phu Tran, Hyeontaek Hwang, Saad Wazir, Duc Do Minh, Daeyoung Kim,
• Abstract要約: TB-AVA(Text-Bridged Audio-Visual Adapter)を中心とした冷凍オーディオとビジュアルエンコーダをベースとしたパラメータ効率適応フレームワークを提案する。 TB-AVAのコアでは、GSM(Gated Semantic Modulation)がテキスト推論のセマンティック関連性に基づいて特徴チャネルを選択的に変調する。 提案手法は, AVE, AVS, AVVPなど複数のベンチマークで評価され, 提案手法は最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 4.823527550009329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual understanding requires effective alignment between heterogeneous modalities, yet cross-modal correspondence remains challenging when temporally aligned audio and visual signals lack clear semantic correspondence. We propose to use text as a semantic anchor for audio-visual representation learning. To this end, we introduce a parameter-efficient adaptation framework built on frozen audio and visual encoders, centered on Text-Bridged Audio-Visual Adapter (TB-AVA), which enables text-mediated interaction between audio and visual streams. At the core of TB-AVA, Gated Semantic Modulation (GSM) selectively modulates feature channels based on text-inferred semantic relevance. We evaluate the proposed approach on multiple benchmarks, including AVE, AVS, and AVVP, where the proposed framework achieves state-of-the-art performance, demonstrating text as an effective semantic anchor for parameter-efficient fine-tuning (PEFT) in audio-visual learning.
• Abstract（参考訳）: 音声・視覚的理解には不均一なモーダル間の効果的なアライメントが必要であるが、時間的にアライメントされた音声と視覚信号に明確な意味的対応が欠如している場合には、クロスモーダル対応は困難である。 音声・視覚表現学習において,テキストを意味アンカーとして用いることを提案する。 そこで本研究では,TB-AVA(Text-Bridged Audio-Visual Adapter)を中心に,凍結オーディオとビジュアルエンコーダをベースとしたパラメータ効率適応フレームワークを提案する。 TB-AVAのコアでは、GSM(Gated Semantic Modulation)がテキスト推論のセマンティック関連性に基づいて特徴チャネルを選択的に変調する。 提案手法は, AVE, AVS, AVVP など複数のベンチマークで評価され, 提案手法は最先端の性能を実現し, 音声視覚学習におけるパラメータ効率のよい微調整(PEFT)のための効果的な意味的アンカーとしてテキストを実証する。

関連論文リスト

• GAID: Frame-Level Gated Audio-Visual Integration with Directional Perturbation for Text-Video Retrieval [12.483734449829235]
  GAIDは、テキストガイダンスの下でオーディオと視覚機能を統合するフレームワークである。 DASPは、構造を意識した摂動をテキスト埋め込みに注入し、マルチパス推論を発生させることなく、堅牢性と差別性を高める。 MSR-VTT, DiDeMo, LSMDC, VATEXによる実験では, 顕著な効率向上が得られた。
  論文  参考訳（メタデータ） (2025-08-03T10:44:24Z)
• Semantics-Aware Human Motion Generation from Audio Instructions [25.565742045932236]
  本稿では,音声のセマンティクスに適合した動作を生成するための条件付け入力として音声信号を使用する新しいタスクについて検討する。 本稿では,メモリ検索型アテンションモジュールによって強化されたマスク付き生成変換器を用いて,スパースおよび長大な音声入力を処理するエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-29T14:16:27Z)
• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Parameter Efficient Audio Captioning With Faithful Guidance Using Audio-text Shared Latent Representation [0.9285295512807729]
  本稿では,幻覚音の字幕を生成するためのデータ拡張手法を提案する。 次に,パラメータ効率の良い推論時間忠実復号アルゴリズムを提案し,より多くのデータで訓練されたより大きなモデルに匹敵する性能を持つ小型オーディオキャプションモデルを実現する。
  論文  参考訳（メタデータ） (2023-09-06T19:42:52Z)
• DiffAVA: Personalized Text-to-Audio Generation with Visual Alignment [30.38594416942543]
  本稿では,遅延拡散モデル,すなわちDiffAVAに基づく視覚アライメントを用いた,新規でパーソナライズされたテキスト・音声生成手法を提案する。 我々のDiffAVAは、ビデオ特徴から時間情報を集約するマルチヘッドアテンショントランスフォーマーと、テキスト埋め込みで時間的視覚表現を融合するデュアルマルチモーダル残差ネットワークを活用している。 AudioCapsデータセットの実験結果から、提案したDiffAVAは、視覚的に整列したテキスト・オーディオ生成において、競合する性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T10:37:27Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• TVLT: Textless Vision-Language Transformer [89.31422264408002]
  テキストレス・ビジョン・ランゲージ変換器 (TVLT) では, 同種変換器ブロックが生の視覚・音声入力を行う。 TVLTはテキストベースの様々なマルチモーダルタスクに匹敵するパフォーマンスを実現している。 その結果,低レベルの視覚・音声信号から,コンパクトで効率的な視覚言語表現を学習できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T15:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。