論文の概要: The JEPA Paradox in Language: The Geometry of Linguistic Alternatives

• arxiv url: http://arxiv.org/abs/2607.23531v1
• Date: Sun, 26 Jul 2026 08:01:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.142541
• Title: The JEPA Paradox in Language: The Geometry of Linguistic Alternatives
• Title（参考訳）: 言語におけるJEPAパラドックス:言語代替語の幾何学
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、画像、ビデオ、オーディオに有効である。 しかし、決定論的JEPAスタイルの潜伏予測は、テキストエンコーダの標準目標にはなっていない。 このギャップは、二乗誤り潜伏予測と言語条件構造とのミスマッチを反映していると我々は主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPAs) are effective for images, video, and audio, yet deterministic JEPA-style latent prediction has not become a standard objective for text encoders. We argue that this gap reflects a mismatch between squared-error latent prediction and the conditional structure of language. The key requirement is conditional concentration: given a context and target location, the target representation should lie near a single meaningful point. Local image prediction often satisfies this through spatial continuity, whereas masked text can admit multiple valid token or span completions whose representations need not share a coherent center. We formalize this mismatch through three conditions---predictability, non-collapse, and low conditional variance---and show how their failure creates centroid degeneracy and collapse pressure in text. Matched I-JEPA and T-JEPA experiments reveal the predicted sequence: mutual-information saturation and elevated target variance precede train--validation instability, effective-rank degeneration, cosine collapse, and poor downstream transfer. The same pattern appears across five independent data seeds, indicating that it is not a sampling artifact. These results do not rule out predictive learning for language; they show that text-compatible JEPA objectives must preserve multiple plausible completions rather than compress them into a single latent point.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、画像、ビデオ、音声に対して有効であるが、決定論的JEPAスタイルの潜伏予測は、テキストエンコーダの標準目標にはなっていない。 このギャップは、二乗誤り潜伏予測と言語条件構造とのミスマッチを反映していると我々は主張する。 重要な要件は条件集中である: コンテキストと目標位置が与えられた場合、ターゲット表現は単一の意味のある点の近くに置かれるべきである。 局所的な画像予測はしばしば空間的連続性を通じてこれを満足するが、マスク付きテキストは複数の有効なトークンや、コヒーレントな中心を共有する必要のない完了を許容することができる。 我々は、このミスマッチを予測可能性、非崩壊性、低条件分散の3つの条件で形式化し、その失敗がテキストにおけるセントロイドの縮退と崩壊圧をいかに生み出すかを示す。 一致したI-JEPAおよびT-JEPA実験は、相互情報飽和と高次目標分散が電車の不安定性、有効ランクの劣化、コサイン崩壊、下流輸送に先行する予測シーケンスを明らかにした。 同じパターンは5つの独立したデータシードにまたがって現れ、サンプリングアーティファクトではないことを示している。 これらの結果は、言語に対する予測学習を除外するものではない。テキスト互換のJEPAの目的は、1つの潜伏点に圧縮するのではなく、複数のもっともらしい完了を保たなければならないことを示している。

関連論文リスト

• Content is What Remains: Invariant Speech Tokenization from Parallel Utterances [8.166364251367627]
  PINTはSSLエンコーダを微調整し、並列発話におけるアライメント損失と、この共有残基を蒸留するために拡張する。 ASRテキストとは異なり、PINTトークンはフレームレベルの時間的グラウンドを保持し、オーディオコーデックのドロップインセマンティックターゲットとして機能する。
  論文  参考訳（メタデータ） (2026-07-21T12:19:38Z)
• MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models [14.76812870029721]
  MoP-JEPAは、有限個の候補セットを1つのパスで生成する。 ホールドアウトのOGBenchトランジションでは、単一出力予測器によるグラフ検索が0.02$--0.09$のクエリで成功し、MoP-JEPAは0.85$に達した。
  論文  参考訳（メタデータ） (2026-07-06T15:47:37Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• UWM-JEPA: Predictive World Models That Imagine in Belief Space [0.2864713389096699]
  本稿では,JEPAの世界モデルであるUnitary World Model JEPAを紹介した。 この構造はロールアウト中に関節状態スペクトルを正確に保存するため、予測器自体が表現された不確かさを解消することはできない。 JEPAの世界モデルでは、部分的な可観測性、潜伏幾何学、予測力学が重要であり、フリーズされたコンテキストエンコーディング能力だけではありません。
  論文  参考訳（メタデータ） (2026-05-25T00:28:51Z)
• Text-Conditional JEPA for Learning Semantically Rich Visual Representations [18.194102334040817]
  本稿では,画像キャプションを用いて予測の不確実性を低減するテキスト記述型JEPAを提案する。 TC-JEPAはダウンストリーム性能とトレーニングの安定性を向上し、将来性のあるスケーリング特性を示す。 TC-JEPAはまた、機能予測のみに基づく新しい視覚言語事前訓練パラダイムを提供し、多様なタスクにおける対照的な手法よりも優れています。
  論文  参考訳（メタデータ） (2026-05-05T00:26:57Z)
• Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density [51.15085346971361]
  JEPA(Joint Embedding Predictive Architectures)は、多くのダウンストリームタスクを最初から解決できる表現を学習する。 JEPAsには2つの目的がある: (i) 潜在空間予測項、すなわち、わずかに摂動されたサンプルの表現は、元のサンプルの表現から予測できなければならない、 (ii) 反崩壊項、すなわち、すべてのサンプルが同じ表現を持つべきではない、という2つの目的がある。
  論文  参考訳（メタデータ） (2025-10-07T14:06:30Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• Non-Exchangeable Conformal Language Generation with Nearest Neighbors [12.790082627386482]
  非交換性共形核サンプリングは、近接する隣人に基づく生成への共形予測フレームワークの新たな拡張である。 本手法は,任意のモデルに対して,余分なトレーニングを伴わずにポストホックで使用することができ,統計的保証を備えたトークンレベルの校正予測セットを提供する。
  論文  参考訳（メタデータ） (2024-02-01T16:04:04Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• CUE: An Uncertainty Interpretation Framework for Text Classifiers Built on Pre-Trained Language Models [28.750894873827068]
  本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。 摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
  論文  参考訳（メタデータ） (2023-06-06T11:37:46Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。