論文の概要: AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2607.15295v1
• Date: Wed, 01 Jul 2026 13:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.02371
• Title: AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning
• Title（参考訳）: AV-JEPA:LeJEPAをオーディオ・ビジュアル・セルフ・スーパーバイザード・ラーニングに拡張
• Abstract要約: 本稿では、LeJEPAのエレガントなマルチモーダル拡張であるAV-JEPAを、音声・視覚的自己教師型学習に適用する。 このモデルは、グローバルおよびモダリティごとの局所ビューの埋め込みを整列するように訓練され、SIGRegの目的は理論上最適な分布を奨励する。 これにより、遅延空間におけるクロスモーダルなアライメントを実現し、デコーダやEMAの教師、複雑な複数項の損失、対照的な負の損失のない驚くほどクリーンなアーキテクチャを実現する。
• 参考スコア（独自算出の注目度）: 16.960316373127768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present AV-JEPA, an elegant multimodal extension of LeJEPA to audio-visual self-supervised learning. Using an early-fusion Vision Transformer and modality dropout as masking, the model is trained to align the embeddings of global and per-modality local views, while the SIGReg objective encourages a theoretically optimal distribution. This achieves cross-modal alignment in the latent space, resulting in a remarkably clean architecture with no decoder, EMA teacher, complex multi-term losses, or contrastive negatives. The proposed AV-JEPA backbone delivers competitive classification performance on VGGSound (57.1% top-1) and AudioSet (32.7 mAP) and supports zero-shot audio-video retrieval out of the box.
• Abstract（参考訳）: 本稿では、LeJEPAのエレガントなマルチモーダル拡張であるAV-JEPAを、音声・視覚的自己教師型学習に適用する。 初期融合型ビジョントランスフォーマーとモダリティドロップアウトをマスキングとして使用し、このモデルはグローバルおよびモダリティごとのローカルビューの埋め込みを整列するように訓練され、SIGRegの目的は理論上最適な分布を奨励する。 これにより、遅延空間におけるクロスモーダルなアライメントを実現し、デコーダやEMAの教師、複雑な複数項の損失、対照的な負の損失のない驚くほどクリーンなアーキテクチャを実現する。 提案されたAV-JEPAバックボーンは、VGGSound (57.1% Top-1)とAudioSet (32.7 mAP)の競合する分類性能を提供し、ボックスからゼロショットのオーディオビデオ検索をサポートする。

関連論文リスト

• Acoustically Grounded Cost Learning for Open-Vocabulary Audio-Visual Semantic Segmentation [95.88527433039519]
  Open-Vocabulary Audio-Visual Semantic (OV-AVSS) は、オープンなカテゴリの集合から、音を放出するオブジェクトのピクセルレベルのセグメンテーションを実行することを目的としている。 カテゴリー特化の目的を整理し,新しい音響的基盤型コスト学習フレームワークを提案する。 AVSBench-OVデータセットの実験により,本手法が従来の最先端手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2026-08-29T08:02:27Z)
• AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation [47.70199516002865]
  音声ビデオ生成のための新しい統一トークンである textbfAVTok を提案する。 AVTokは、共有エンコーダデコーダとモーダル固有の学習可能なクエリを備えたデュアルストリームトランスフォーマーベースのアーキテクチャを備えている。 AVTokは、オーディオ・ビデオ再生と、オーディオ・トゥ・ビデオ、ビデオ・トゥ・オーディオ、およびクラス条件のジョイント・オーディオ・ビデオ生成のための下流パイプラインに統合された場合の両方に優れることを示した。
  論文  参考訳（メタデータ） (2026-06-29T18:35:17Z)
• LightAVSeg: Lightweight Audio-Visual Segmentation [67.18006751024687]
  LightAVSegは、セマンティックフィルタリングと空間接地のための分離された設計に置き換わっている。 実験では、軽量メソッド間で新しい最先端を実現することを実証している。 MS3ベンチマークで50.4 mIoUに達し、モバイルプロセッサでの効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2026-05-09T08:47:54Z)
• JoVA: Unified Multimodal Learning for Joint Video-Audio Generation [23.0536211998086]
  本稿では,ジョイント・ビデオ・オーディオ・ジェネレーションのための統合フレームワークJoVAを提案する。 これらの問題に対処するため、JoVAはトランスフォーマー層内のビデオトークンとオーディオトークンをまたいだ共同自己アテンションを採用している。 高品質な唇-音声同期を実現するために,顔のキーポイント検出に基づく簡易かつ効果的な口-面積損失を導入する。
  論文  参考訳（メタデータ） (2025-12-15T18:58:18Z)
• JEPA as a Neural Tokenizer: Learning Robust Speech Representations with Density Adaptive Attention [47.304088800992474]
  本稿では,JEPA(Joint-Embedding Predictive Architecture)とDAAM(Dedentity Adaptive Attention Mechanism)を組み合わせた2段階の自己組織化フレームワークを提案する。 Stage1はJEPAとDAAMを使用して、波形再構成から完全に切り離された潜在空間におけるマスク付き予測を通じてセマンティックオーディオ機能を学ぶ。 Stage2は、これらの表現をFinite Scalar Quantization (FSQ)とMix-radix Packingスキームを用いた効率的なトークン化に利用し、次いでHiFi-GANデコーダを用いた高忠実な波形再構成を行う。
  論文  参考訳（メタデータ） (2025-12-08T05:01:51Z)
• Audio-Visual Speech Enhancement In Complex Scenarios With Separation And Dereverberation Joint Modeling [10.757994012708734]
  本研究では,複雑な音響環境下で有効なAVSEシステムを提案する。 具体的には、他のAVSEネットワークに拡張可能な「脱バーベレーション前の分離」パイプラインを設計する。
  論文  参考訳（メタデータ） (2025-10-29T03:08:55Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
  DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。 そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-09T03:38:21Z)
• A-JEPA: Joint-Embedding Predictive Architecture Can Listen [35.308323314848735]
  本稿では,音声スペクトルから自己教師付き学習を行うシンプルな拡張手法であるA-JEPAについて紹介する。 A-JEPAは、コンテキストエンコーダによるカリキュラムマスキング戦略で可視音声スペクトログラムパッチをエンコードし、よく設計された場所でサンプリングされた領域の表現を予測する。
  論文  参考訳（メタデータ） (2023-11-27T13:53:53Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。