論文の概要: If You Hear It, Help Find It: Orthogonal Knowledge Distillation for Open-Vocabulary Audio-Visual Event Localization

• arxiv url: http://arxiv.org/abs/2609.23376v1
• Date: Sun, 20 Sep 2026 05:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.806662
• Title: If You Hear It, Help Find It: Orthogonal Knowledge Distillation for Open-Vocabulary Audio-Visual Event Localization
• Title（参考訳）: 耳に耳を傾けると、それを見つけるのに役立つ:オープン語彙の音声-視覚イベントの局所化のための直交的知識蒸留法
• Abstract要約: Open-vocabulary Audio-visual Event Localization (OV-AVEL)は、ビデオ、オーディオ、言語からテキストクエリされたイベントを時間内に設定する。 OV-AVEBenchでは、設定された視覚教師は、設定された音声教師よりも信頼性の高い境界鍵を与える。 信頼性を考慮した非対称蒸留フレームワークであるOV-OrthKDを提案する。
• 参考スコア（独自算出の注目度）: 8.442590154864684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary audio-visual event localization (OV-AVEL) grounds a text-queried event in time from video, audio, and language. The supervision sources available to this task can differ in temporal-boundary reliability: on OV-AVEBench, our configured visual teacher gives more reliable boundary cues than the configured audio teacher, although the latter is a strong pretrained audio model and remains semantically informative. This is a setting-specific diagnostic rather than a universal ranking of vision and audio. We formulate the resulting challenge as supervision placement: which teacher signals may shape the localization decision, and which should remain auxiliary. Based on this view, we propose OV-OrthKD, a reliability-aware asymmetric distillation framework. Visual feature transfer shapes a decision-aligned representation, audio feature transfer enriches a complementary auxiliary subspace, a text prototype anchors seen/unseen category semantics, and an orthogonality loss limits directional overlap between the two teacher-specific projections. The student continues to use both modalities through query-aware fusion at inference, while the default training recipe keeps audio-teacher supervision off the segment-logit path. On OV-AVEBench, OV-OrthKD achieves 0.816 segment AP and improves F1@0.5 over the official fine-tuning baseline by 2.7 points overall and 3.4 points on unseen categories. Path-assignment, role-swap, corruption, and transfer analyses consistently support supervision placement as a task-specific design axis for OV-AVEL.
• Abstract（参考訳）: Open-vocabulary Audio-visual Event Localization (OV-AVEL)は、ビデオ、オーディオ、言語からテキストクエリされたイベントを時間内に設定する。 OV-AVEBenchでは、設定された視覚教師は、設定された音声教師よりも、より信頼性の高い境界条件を与えるが、後者は、強い事前訓練されたオーディオモデルであり、意味的に情報的であり続ける。 これは、視覚とオーディオの普遍的なランキングではなく、設定固有の診断である。 教師の信号が位置決定を形作ることができ、どの信号が補助的であり続けるべきかを、教師が監督する場所として定式化する。 この観点から,信頼性を考慮した非対称蒸留フレームワークであるOV-OrthKDを提案する。 視覚的特徴伝達は、決定に整合した表現を形成し、音声的特徴伝達は補完的な補助部分空間を豊かにし、テキストのプロトタイプは、見知らぬカテゴリー意味論をアンカーし、直交損失制限は、2つの教師固有の投影の間に方向的に重なる。 学生は、推論時のクエリ認識融合を通じて両方のモダリティを使い続け、デフォルトのトレーニングレシピは、音声教師がセグメントログパスを監督し続ける。 OV-AVEBenchでは、OV-OrthKDは0.816セグメントAPを達成し、公式の微調整ベースラインよりもF1@0.5を2.7ポイント、目に見えないカテゴリでは3.4ポイント改善している。 OV-AVELのタスク固有の設計軸として、パス割り当て、ロールスワップ、汚職、転送分析が一貫して監視配置を支持している。

関連論文リスト

• Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing [26.317163478761916]
  弱教師付き音声視覚ビデオ解析は、時間的アノテーションを使わずに、可聴性、可視性、および音声視覚イベントを検出する。 本稿では,信頼度の高いセグメントレベルのマスクを生成する指数移動平均(EMA)誘導擬似監視フレームワークを提案する。 また,クラス対応のクロスモーダル・アグリーメント(CMA)の損失も提案する。
  論文  参考訳（メタデータ） (2025-09-17T15:38:05Z)
• Towards Open-Vocabulary Audio-Visual Event Localization [59.23161248808759]
  本稿では,オープン語彙音声・視覚イベントのローカライズ問題を紹介する。 この問題は、音声・視覚イベントのローカライズと、推測時に見つからないデータの両方の明確なカテゴリの予測を必要とする。 OV-AVEBenchデータセットを提案する。
  論文  参考訳（メタデータ） (2024-11-18T04:35:20Z)
• Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
  本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。 MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。 我々のフレームワークは、残響器と残響器の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T00:47:56Z)
• Cross-Modal Attention Consistency for Video-Audio Unsupervised Learning [141.38505371646482]
  クロスモーダル相関は、ビデオ教師なし表現学習に固有の監督を提供する。 本稿では,双方向の局所通信特性を探索するために,CMAC(Cross-Modal Attention Consistency)というプレテキストタスクを導入する。 CMACは、視覚信号から純粋に発生する局所的注意と、音響信号の誘導の下で発生する対象的注意とを一致させることを目的としている。
  論文  参考訳（メタデータ） (2021-06-13T07:41:15Z)
• FragmentVC: Any-to-Any Voice Conversion by End-to-End Extracting and Fusing Fine-Grained Voice Fragments With Attention [66.77490220410249]
  本稿では、Wav2Vec 2.0から、音源話者からの発声の潜在音声構造を求めるFragmentVCを提案する。 FragmentVCは、ターゲット話者発話からきめ細かい音声断片を抽出し、所望の発話に融合することができる。 提案手法は, コンテンツと話者情報との絡み合いを考慮せずに, 再構成損失を学習する。
  論文  参考訳（メタデータ） (2020-10-27T09:21:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。