論文の概要: ER-JEPA: Experience Replay Improves Joint-Embedding Predictive Learning in Language Models

• arxiv url: http://arxiv.org/abs/2609.36952v1
• Date: Tue, 29 Sep 2026 07:56:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.297585
• Title: ER-JEPA: Experience Replay Improves Joint-Embedding Predictive Learning in Language Models
• Title（参考訳）: ER-JEPA: 体験リプレイは、言語モデルにおける共同埋め込み予測学習を改善する
• Abstract要約: 大規模言語モデル(LLM)はトークンレベルの生成では優れているが、望ましくない抽象意味論を学習し、包括的な認識を欠くことがある。 共同埋め込み予測アーキテクチャ(JEPA)は、同じ基礎知識の異なる視点を整合させることによって、これを緩和する。 LLM-JEPAにエピソード・リプレイ・パスを追加するER-JEPAを提案する。
• 参考スコア（独自算出の注目度）: 1.529342790344802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) excel at token-level generation but may learn undesirable abstract semantics and lack comprehensive perception. LLM-JEPA mitigates this by aligning different views of the same underlying knowledge via a joint-embedding predictive architecture (JEPA). However, strong alignment does not necessarily lead to accurate, stable predictions. To address this, we propose ER-JEPA, which adds an episodic replay path to LLM-JEPA. ER-JEPA stores training pairs in a memory. At each step, it stores and retrieves relevant data to provide additional supervision. This enables learning from both the current batch and stored training pairs, providing additional supervision for token prediction and representation alignment. Experiments across multiple datasets (NL-RX, GSM8K, Spider, and NQ-Open) demonstrate that ER-JEPA consistently outperforms LLM-JEPA.
• Abstract（参考訳）: 大規模言語モデル(LLM)はトークンレベルの生成では優れているが、望ましくない抽象意味論を学習し、包括的な認識を欠くことがある。 LLM-JEPAは、JEPA(Joint-embedding predictive Architecture)を通じて、同じ知識の異なるビューを調整することによって、これを緩和する。 しかし、強いアライメントが必ずしも正確で安定した予測につながるとは限らない。 そこで本研究では,LLM-JEPAにエピソードな再生経路を追加するER-JEPAを提案する。 ER-JEPAはトレーニングペアをメモリに格納する。 各ステップで、追加の監視を提供するために、関連するデータを格納し、取得する。 これにより、現在のバッチとストアドトレーニングペアの両方から学習が可能になり、トークン予測と表現アライメントのさらなる監視が可能になる。 複数のデータセット(NL-RX、GSM8K、Spider、NQ-Open)にわたる実験は、ER-JEPAがLSM-JEPAを一貫して上回ることを示した。

関連論文リスト

• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density [51.15085346971361]
  JEPA(Joint Embedding Predictive Architectures)は、多くのダウンストリームタスクを最初から解決できる表現を学習する。 JEPAsには2つの目的がある: (i) 潜在空間予測項、すなわち、わずかに摂動されたサンプルの表現は、元のサンプルの表現から予測できなければならない、 (ii) 反崩壊項、すなわち、すべてのサンプルが同じ表現を持つべきではない、という2つの目的がある。
  論文  参考訳（メタデータ） (2025-10-07T14:06:30Z)
• LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures [50.494504099850325]
  大規模言語モデル(LLM)の事前訓練、微調整、評価は、入力空間の再構築と生成能力に依存している。 しかし、例えば、JEPA(Joint Embedding Predictive Architectures)のような埋め込み空間トレーニングの目的は、入力空間の目標よりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-09-11T03:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。