論文の概要: Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density

• arxiv url: http://arxiv.org/abs/2510.05949v1
• Date: Tue, 07 Oct 2025 14:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.279664
• Title: Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density
• Title（参考訳）: Gaussianの埋め込み:JEPAがデータ密度を密かに学習する方法
• Authors: Randall Balestriero, Nicolas Ballas, Mike Rabbat, Yann LeCun,
• Abstract要約: JEPA(Joint Embedding Predictive Architectures)は、多くのダウンストリームタスクを最初から解決できる表現を学習する。 JEPAsには2つの目的がある: (i) 潜在空間予測項、すなわち、わずかに摂動されたサンプルの表現は、元のサンプルの表現から予測できなければならない、 (ii) 反崩壊項、すなわち、すべてのサンプルが同じ表現を持つべきではない、という2つの目的がある。
• 参考スコア（独自算出の注目度）: 51.15085346971361
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Joint Embedding Predictive Architectures (JEPAs) learn representations able to solve numerous downstream tasks out-of-the-box. JEPAs combine two objectives: (i) a latent-space prediction term, i.e., the representation of a slightly perturbed sample must be predictable from the original sample's representation, and (ii) an anti-collapse term, i.e., not all samples should have the same representation. While (ii) is often considered as an obvious remedy to representation collapse, we uncover that JEPAs' anti-collapse term does much more--it provably estimates the data density. In short, any successfully trained JEPA can be used to get sample probabilities, e.g., for data curation, outlier detection, or simply for density estimation. Our theoretical finding is agnostic of the dataset and architecture used--in any case one can compute the learned probabilities of sample $x$ efficiently and in closed-form using the model's Jacobian matrix at $x$. Our findings are empirically validated across datasets (synthetic, controlled, and Imagenet) and across different Self Supervised Learning methods falling under the JEPA family (I-JEPA and DINOv2) and on multimodal models, such as MetaCLIP. We denote the method extracting the JEPA learned density as {\bf JEPA-SCORE}.
• Abstract（参考訳）: JEPA(Joint Embedding Predictive Architectures)は、多くのダウンストリームタスクを最初から解決できる表現を学習する。 JEPAsには2つの目的がある。 (i)潜時空間予測項、すなわち、わずかに摂動したサンプルの表現は、元のサンプルの表現から予測可能でなければならない。 (ii)反崩壊項、すなわち全てのサンプルが同じ表現を持つとは限らない。 その間 簡単に言うと、うまく訓練されたJEPAは、サンプル確率(例えば、データキュレーション、アウトラヤ検出、あるいは単に密度推定)を得るために使用できる。我々の理論的発見は、データセットやアーキテクチャに依存しない - 任意の場合、サンプルの確率を$x$で効率的に計算し、モデルのJacobian行列を使ってクローズフォームで$x$で計算することができる。 本研究は,JEPAファミリー(I-JEPAおよびDINOv2)およびMetaCLIPなどのマルチモーダルモデルにおいて,データセット(合成,制御,イメージネット)および各種自己監督学習手法(I-JEPAおよびDINOv2)で実証的に検証した。 本稿では,JEPA 学習密度を {\bf JEPA-SCORE} として抽出する手法を示す。

関連論文リスト

• T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data [0.0]
  自己教師付き学習(SSL)は一般的に同じサンプルの異なるビューを生成するため、データ拡張が必要である。 本研究では,構造化データに対する拡張不要なSSL方式を提案する。 我々のアプローチであるT-JEPAは、JEPA(Joint Embedding Predictive Architecture)に依存しており、潜伏した空間における再構築のマスクに似ている。
  論文  参考訳（メタデータ） (2024-10-07T13:15:07Z)
• How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks [14.338754598043968]
  データ表現の自己教師型学習には2つの競合パラダイムが存在する。 JEPA(Joint Embedding Predictive Architecture)は、意味的に類似した入力が互いに予測可能な表現に符号化されるアーキテクチャのクラスである。
  論文  参考訳（メタデータ） (2024-07-03T19:43:12Z)
• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach [18.007258270845107]
  境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。 本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-21T13:27:17Z)
• Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
  相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。 本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。 提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
  論文  参考訳（メタデータ） (2021-07-02T02:13:45Z)
• DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
  現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。 本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。 実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
  論文  参考訳（メタデータ） (2020-10-02T13:59:05Z)
• A Provably Efficient Sample Collection Strategy for Reinforcement Learning [123.69175280309226]
  オンライン強化学習(RL)における課題の1つは、エージェントがその振る舞いを最適化するために、環境の探索とサンプルの活用をトレードオフする必要があることである。 1) 生成モデル(環境のスパースシミュレータなど)にアクセス可能な状態のサンプル数を規定する「対象別」アルゴリズム,2) 所定のサンプルをできるだけ早く生成する「対象別」サンプル収集。
  論文  参考訳（メタデータ） (2020-07-13T15:17:35Z)
• Distance in Latent Space as Novelty Measure [0.0]
  本稿では,データセット構築時のサンプルをインテリジェントに選択することを提案する。 この選択手法は、2つの異なるサンプルがデータセット内の2つの類似したサンプル以上の価値があるという推定に基づいている。 自己教師付き手法を用いて潜在空間を構築することにより、空間がデータによく適合し、事前ラベリングの労力を回避できることが保証される。
  論文  参考訳（メタデータ） (2020-03-31T09:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。