Fugu-MT 論文翻訳(概要): LeAVJEPA: A Minimalist Architecture for Audio-Visual Self-Supervised Learning

論文の概要: LeAVJEPA: A Minimalist Architecture for Audio-Visual Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2610.06226v1
Date: Mon, 05 Oct 2026 12:33:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-09 17:43:06.178539
Title: LeAVJEPA: A Minimalist Architecture for Audio-Visual Self-Supervised Learning
Title（参考訳）: LeAVJEPA: 視覚的自己監督学習のためのミニマリストアーキテクチャ
Abstract要約: 我々はLeJEPAの崩壊のない目的の下で訓練された最初のオーディオ視覚エンコーダであるLeAVJEPAを紹介する。 1つの早期融合ビジョントランスフォーマーは、オーディオ、ビデオ、およびジョイントオーディオビデオ入力を処理する。 LeAVJEPAはAudioSet-20Kで36.0mAP、ESC-50で91.3%の精度に達する。
参考スコア（独自算出の注目度）: 16.960316373127768
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Prior audio-visual self-supervised learning methods rely on mechanisms such as EMA target encoders, prediction heads, reconstruction decoders, and contrastive losses. We introduce LeAVJEPA, the first audio-visual encoder trained under LeJEPA's collapse-free objective. A single early-fusion Vision Transformer processes audio, video, and joint audio-video inputs. Modality dropout treats a missing modality as another view of the same event, making cross-modal alignment implicit in the objective. The model aligns global embeddings with modality-specific local embeddings, and SIGReg prevents representational collapse. A controlled ablation identifies modality dropout as the key mechanism for audio-visual alignment. Despite the architectural simplicity, LeAVJEPA reaches 36.0 mAP on AudioSet-20K and 91.3% accuracy on ESC-50 under frozen evaluation. After fine-tuning, it reaches 61.1% accuracy on VGGSound, and its embeddings support zero-shot audio-visual retrieval.
Abstract（参考訳）: 従来の視覚的自己教師型学習手法は、EMAターゲットエンコーダ、予測ヘッド、再構成デコーダ、コントラスト損失などのメカニズムに依存していた。我々はLeJEPAの崩壊のない目的の下で訓練された最初のオーディオ視覚エンコーダであるLeAVJEPAを紹介する。 1つの早期融合ビジョントランスフォーマーは、オーディオ、ビデオ、およびジョイントオーディオビデオ入力を処理する。モダリティ・ドロップアウト(Modality dropout)は、同じ事象の別の見方として欠落したモダリティを扱い、目的においてモダリティ間のアライメントを暗黙化する。このモデルは、グローバルな埋め込みとモダリティ固有の局所埋め込みを一致させ、SIGRegは表現的崩壊を防ぐ。制御されたアブレーションは、モーダリティ・ドロップアウトをオーディオ・視覚アライメントの鍵となるメカニズムとして認識する。アーキテクチャの単純さにもかかわらず、LeAVJEPAはAudioSet-20Kで36.0mAP、ESC-50で91.3%の精度に達した。微調整後、VGGSoundの精度は61.1%に達し、埋め込みはゼロショットオーディオ視覚検索をサポートする。

関連論文リスト

AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning [16.960316373127768]
本稿では、LeJEPAのエレガントなマルチモーダル拡張であるAV-JEPAを、音声・視覚的自己教師型学習に適用する。このモデルは、グローバルおよびモダリティごとの局所ビューの埋め込みを整列するように訓練され、SIGRegの目的は理論上最適な分布を奨励する。これにより、遅延空間におけるクロスモーダルなアライメントを実現し、デコーダやEMAの教師、複雑な複数項の損失、対照的な負の損失のない驚くほどクリーンなアーキテクチャを実現する。
論文参考訳（メタデータ） (2026-07-01T13:50:59Z)
MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning [15.707226798418]
大規模ビデオデータからの自己教師付き学習が視覚表現学習の主流のパラダイムとして浮上している。既存の方法は、モダリティ固有のエンコーダと、コントラストや再構成目的の複雑な組み合わせに依存している。両モードで単一の統一エンコーダを使用する音声・視覚学習のための共同埋め込み型予測アーキテクチャであるMJEPAを紹介する。
論文参考訳（メタデータ） (2026-06-23T22:48:42Z)
From Physics to Representation: Audio Learning with Synthetic Pre-training via Procedural Generation [6.875542527272934]
本稿では,事前学習中に実際の録音を除去する手続き合成フレームワークであるAudioPGを提案する。 AudioPGはトランスフォーマーベースのマスク付きオートエンコーダを基本音響プリミティブと合成規則からオンザフライで生成された波形で訓練する。 ESC-50では90.60%、FSD50Kでは0.546 mAP、UrbanSound8Kでは88.17%、音声コマンドV2では97.03%の精度を達成している。
論文参考訳（メタデータ） (2026-06-11T06:56:17Z)
Audio-JEPA: Joint-Embedding Predictive Architecture for Audio Representation Learning [17.553278541645927]
Audio-JEPAは、生の音声を再構成するのではなく、マスク付きスペクトログラムパッチの潜時表現を予測する。メログラムにランダムなパッチマスキングを施した未ラベルのAudioSetクリップ(10s, 32kHz)を事前トレーニングした。その結果、トレーニングデータの5分の1未満を使用しながら、wav2vec 2.0とdata2vecに匹敵するパフォーマンスを示した。
論文参考訳（メタデータ） (2025-06-25T08:38:27Z)
CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
論文参考訳（メタデータ） (2025-05-02T12:59:58Z)
Leveraging Reverberation and Visual Depth Cues for Sound Event Localization and Detection with Distance Estimation [3.2472293599354596]
本報告では,DCASE2024タスク3の課題として,音源距離推定による音声・音声イベントの定位と検出を行うシステムについて述べる。本モデルでは,ResNet50で抽出したビデオとオーディオの埋め込みを,SELDで事前学習したオーディオエンコーダで処理するAVコンバータをベースとした。このモデルは、STARSS23データセットの開発セットのオーディオ視覚ベースラインを広いマージンで上回り、DOAEを半分にし、F1を3倍以上改善した。
論文参考訳（メタデータ） (2024-10-29T17:28:43Z)
MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文参考訳（メタデータ） (2024-01-07T08:59:32Z)
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
論文参考訳（メタデータ） (2023-06-19T03:10:57Z)
Self-supervised Contrastive Learning for Audio-Visual Action Recognition [7.188231323934023]
オーディオとヴィジュアルモダリティの相関関係を利用して、ラベルなしビデオの教師付き情報を学ぶことができる。本稿では,行動認識のための識別的視覚的表現を学習するための,聴覚・視覚コントラスト学習(A)というエンドツーエンドの自己教師型フレームワークを提案する。
論文参考訳（メタデータ） (2022-04-28T10:01:36Z)
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text [60.97904439526213]
video-audio-text transformer (vatt) は生の信号を入力として取り、様々な下流タスクに役立つほどリッチなマルチモーダル表現を抽出する。マルチモーダルなコントラスト損失を用いて,vattのエンドツーエンドをスクラッチからトレーニングし,映像動作認識,音声イベント分類,画像分類,テキストからビデオへの検索といった下流タスクによってその性能を評価する。
論文参考訳（メタデータ） (2021-04-22T17:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。