論文の概要: EquiAV: Leveraging Equivariance for Audio-Visual Contrastive Learning

• arxiv url: http://arxiv.org/abs/2403.09502v2
• Date: Thu, 20 Jun 2024 06:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 04:39:52.168594
• Title: EquiAV: Leveraging Equivariance for Audio-Visual Contrastive Learning
• Title（参考訳）: EquiAV: オーディオ・ビジュアル・コントラスト学習のための等価性を活用する
• Authors: Jongsuk Kim, Hyeongkeun Lee, Kyeongha Rho, Junmo Kim, Joon Son Chung,
• Abstract要約: 音声・視覚のコントラスト学習に等価性を利用する新しいフレームワークであるEquiAVを紹介する。 我々のアプローチは、共有注意に基づく変換予測器によって促進される音声視覚学習への同値性の拡張から始まる。 多様な拡張から代表的な埋め込みへの機能の集約を可能にし、堅牢な監視を可能にします。
• 参考スコア（独自算出の注目度）: 36.012107899738524
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advancements in self-supervised audio-visual representation learning have demonstrated its potential to capture rich and comprehensive representations. However, despite the advantages of data augmentation verified in many learning methods, audio-visual learning has struggled to fully harness these benefits, as augmentations can easily disrupt the correspondence between input pairs. To address this limitation, we introduce EquiAV, a novel framework that leverages equivariance for audio-visual contrastive learning. Our approach begins with extending equivariance to audio-visual learning, facilitated by a shared attention-based transformation predictor. It enables the aggregation of features from diverse augmentations into a representative embedding, providing robust supervision. Notably, this is achieved with minimal computational overhead. Extensive ablation studies and qualitative results verify the effectiveness of our method. EquiAV outperforms previous works across various audio-visual benchmarks. The code is available on https://github.com/JongSuk1/EquiAV.
• Abstract（参考訳）: 近年の自己教師型音声視覚表現学習の進歩は、リッチで包括的な表現を捉える可能性を示している。 しかし、多くの学習手法で検証されたデータ拡張の利点にもかかわらず、音声視覚学習は、入力ペア間の対応を容易に妨害できるため、これらの利点を十分に活用するのに苦労している。 この制限に対処するために,音声・視覚のコントラスト学習に等価性を利用する新しいフレームワークであるEquiAVを紹介する。 我々のアプローチは、共有注意に基づく変換予測器によって促進される音声視覚学習への同値性の拡張から始まる。 多様な拡張から代表的な埋め込みへの機能の集約を可能にし、堅牢な監視を可能にします。 特に、これは最小の計算オーバーヘッドで達成される。 大規模なアブレーション研究と定性的な結果により,本手法の有効性が検証された。 EquiAVは、様々なオーディオ・ビジュアル・ベンチマークで過去の作品を上回っている。 コードはhttps://github.com/JongSuk1/EquiAV.comで入手できる。

関連論文リスト

• Sequential Contrastive Audio-Visual Learning [12.848371604063168]
  逐次距離を用いた非集約表現空間に基づく実例を対比した逐次コントラスト音声視覚学習(SCAV)を提案する。 VGGSoundとMusicのデータセットによる検索実験は、SCAVの有効性を実証している。 また、SCAVでトレーニングしたモデルは、検索に使用されるメトリックに関して高い柔軟性を示し、効率-精度トレードオフのスペクトル上で動作可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-08T09:45:20Z)
• Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
  DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。 そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-09T03:38:21Z)
• Speed Co-Augmentation for Unsupervised Audio-Visual Pre-training [102.18680666349806]
  本稿では,音声とビデオデータの再生速度をランダムに変更する高速化手法を提案する。 実験の結果,提案手法は,バニラ音声・視覚的コントラスト学習と比較して,学習表現を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-09-25T08:22:30Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Modality-Independent Teachers Meet Weakly-Supervised Audio-Visual Event Parser [34.19935635508947]
  未探索のアンアライメント・セッティングについて検討し、そのゴールは、弱いラベルしか観測されていないビデオにおいて、音声や視覚イベントを認識することである。 この挑戦的な環境での学習を強化するため、大規模で対照的に事前訓練されたモデルをモダリティ教師として組み込んだ。 VALOR(Visual-Audio Label Elaboration)と呼ばれる、シンプルで効果的で汎用的な手法は、トレーニングイベントのモダリティラベルを抽出するために革新されている。
  論文  参考訳（メタデータ） (2023-05-27T02:57:39Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning [0.0]
  生音声から直接表現を学習することによる話者検証のための自己教師型学習について検討する。 我々のアプローチは、最近の情報学習フレームワークと集中的なデータ前処理ステップに基づいています。
  論文  参考訳（メタデータ） (2022-07-12T13:01:55Z)
• LiRA: Learning Visual Speech Representations from Audio through Self-supervision [53.18768477520411]
  セルフスーパービジョン(LiRA)による音声からの視覚的表現の学習を提案する。 具体的には、ResNet+Conformerモデルをトレーニングし、未学習の視覚音声から音響的特徴を予測する。 提案手法は,WildデータセットのLip Readingにおいて,他の自己教師的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-16T23:20:06Z)
• Distilling Audio-Visual Knowledge by Compositional Contrastive Learning [51.20935362463473]
  我々は、クロスモーダルな意味のギャップを埋める構成埋め込みを学びます。 3つのビデオデータセットに新しい総合的マルチモーダル蒸留ベンチマークを確立した。
  論文  参考訳（メタデータ） (2021-04-22T09:31:20Z)
• Positive Sample Propagation along the Audio-Visual Event Line [29.25572713908162]
  視覚信号と音声信号はしばしば自然環境に共存し、オーディオ視覚イベント(AVE)を形成する 我々は,近縁な音声と視覚のペアを発見し,活用するための新しい正のサンプル伝搬(PSP)モジュールを提案する。 我々は,公開avデータセットを広範囲に実験し,完全かつ弱い教師付き設定で新たな最先端精度を実現する。
  論文  参考訳（メタデータ） (2021-04-01T03:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。