論文の概要: Proving and Improving the Platonic Representation Hypothesis with JEPAs

• arxiv url: http://arxiv.org/abs/2610.39302v1
• Date: Thu, 29 Oct 2026 03:49:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.03813
• Title: Proving and Improving the Platonic Representation Hypothesis with JEPAs
• Title（参考訳）: JEPAsによるプラトン表現仮説の証明と改善
• Abstract要約: EmphPlatonic Representation Theorem: Joint-Embedding Predictive Architectures。 145kの字幕から9億4000万のウェブ画像のテキストまで,この理論を検証した。 良いビューは、同じコーパスで同じアライメントに達するためには、同じコーパス上の次のトーケン予測の42倍のトレーニングサンプルが必要です。
• 参考スコア（独自算出の注目度）: 53.247652209132376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether models trained on different modalities converge to the same representation of the world is central to AI. The Platonic Representation Hypothesis (PRH) conjectures that they do as they scale, but without a proof it offers neither a guarantee nor a recipe. We turn the hypothesis into a theorem. First, we prove a \emph{Platonic Representation Theorem}: Joint-Embedding Predictive Architectures (JEPAs) trained separately on any number of modalities learn the same representation up to one rotation whenever their positive pairs are two observations of one scene--\emph{good views}--and their misalignment is bounded otherwise. Second, we show that next-token prediction is a JEPA with \emph{bad views}, parts of a single document, which explains why language models align with vision only through scale. Third, we validate the theory from 145k captions to the texts of 940M web images, and uncover a scaling law of alignment that predicts unseen runs within seed noise. Good views need 42 times fewer training samples than next-token prediction on the same corpus to reach the same alignment, and a 109M-parameter text JEPA aligns with DINOv2 and CLIP's image encoders better than every language model we evaluated, up to 72B parameters, and than CLIP's text encoder: next-token prediction is a remarkably inefficient route to platonic representations. As a showcase, one rotation turns separately trained encoders into an image captioner (CIDEr .838 on COCO). Even that rotation needs no pair: on the latest pair-free benchmark, our text JEPA beats every zero-shot accuracy reported with language models up to 8B parameters, e.g., 64\% against at most 56\% top-5 on ImageNet-100. Positive views, and not scale alone, are thus the lever to build platonic representations.
• Abstract（参考訳）: 異なるモダリティでトレーニングされたモデルが、世界の同じ表現に収束するかどうかは、AIの中心である。 プラトン表現仮説(PRH)は、彼らがスケールするにつれて行うと推測するが、証明なしでは保証もレシピも提供しない。 私たちはその仮説を定理に変える。 まず, 連続埋め込み予測アーキテクチャ (JEPA) は, 任意のモダリティに基づいて個別に訓練され, 正の対が1つのシーンの2つの観測である場合, 同一の表現を1つの回転まで学習する(-\emph{good view})。 第二に、次に注意すべき予測は、単一のドキュメントの一部である‘emph{bad view}’を持つJEPAであることを示しています。 第3に,145kキャプションから9億4000万のウェブ画像のテキストまでの理論を検証し,シードノイズ内での未確認動作を予測するアライメントのスケーリング法則を明らかにする。 また、109MパラメータのJEPAは、DINOv2とCLIPのイメージエンコーダと一致しており、評価したすべての言語モデル、最大72Bパラメータ、CLIPのテキストエンコーダよりも優れている。 ショーケースとして、1つのローテーション訓練エンコーダを分離してイメージキャプション(COCOのCIDEr .838)に変換する。 最新のペアフリーベンチマークでは、私たちのテキストJEPAは、言語モデルで報告されたすべてのゼロショット精度を8Bパラメータ、例えば、64\%に対して、ImageNet-100で56\%のトップ5で上回ります。 正のビューは、単独でスケールするのではなく、プラトニックな表現を構築するためのレバーである。

関連論文リスト

• ALPS: Visual State Encoders for World Models [54.01864814166769]
  プリトレーニングされた視覚状態エンコーダであるALPSを導入し、パッチトークンのセットで3つすべてを統一する。 静止画像とテキストのみを用いて, 言語, 再構成, 空間的対応目的を用いて, ViT-B/16をスクラッチから事前訓練する。 15の公開エンコーダで統一された評価では、ALPSは最下位の集合LIBERO状態プローブ誤差を達成する。
  論文  参考訳（メタデータ） (2026-10-21T17:57:11Z)
• JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces [70.74654248570178]
  ほとんどの統一されたマルチモーダルモデルは、画像とテキストを非対称に扱う。 どちらのモダリティも、スクラッチから共同でトレーニングされた1つのプロセスによって生成できるかどうかを問う。 事前訓練されたエンコーダ空間は、両方のモダリティを1つの連続的な形で保持し、大規模に学んだ知識を運ぶ。 JUICE(Joint Unified Multimodal Modeling In Continuous space)は,凍結画像上の単一フローマッチングトランスフォーマーである。
  論文  参考訳（メタデータ） (2026-10-20T18:25:09Z)
• The JEPA Paradox in Language: The Geometry of Linguistic Alternatives [0.0]
  JEPA(Joint-Embedding Predictive Architectures)は、画像、ビデオ、オーディオに有効である。 しかし、決定論的JEPAスタイルの潜伏予測は、テキストエンコーダの標準目標にはなっていない。 このギャップは、二乗誤り潜伏予測と言語条件構造とのミスマッチを反映していると我々は主張する。
  論文  参考訳（メタデータ） (2026-07-26T08:01:58Z)
• What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
  表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。 本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。 我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
  論文  参考訳（メタデータ） (2025-12-11T16:39:53Z)
• Beyond Next-Token: Next-X Prediction for Autoregressive Visual Generation [34.112157859384645]
  自己回帰(AR)モデリングは、最先端の言語と視覚的生成モデルを支える。 伝統的に、トークン'' は最小の予測単位として扱われ、しばしば言語における離散的なシンボルまたは視覚における量子化されたパッチとして扱われる。 トークンの概念をエンティティXに拡張するフレームワークであるxARを提案する。
  論文  参考訳（メタデータ） (2025-02-27T18:59:08Z)
• Probabilistic Language-Image Pre-Training [58.2451360061285]
  ProLIP(Probabilistic Language- Image Pre-Training)は,10億規模の画像テキストデータセット上に事前トレーニングされた最初の確率的VLMである。 ProLIPは、余分なパラメータなしで「不確実性トークン」によって不確実性を効率的に推定する。 また,画像とテキストのペア間の分布的包摂関係と,原文とマスクの入力の関係を強制する新たな包摂損失も導入する。
  論文  参考訳（メタデータ） (2024-10-24T15:42:25Z)
• Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder [52.42057181754076]
  自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。 文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。 実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-29T12:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。