論文の概要: BERT-JEPA: Reorganizing CLS Embeddings for Language-Invariant Semantics

• arxiv url: http://arxiv.org/abs/2601.00366v1
• Date: Thu, 01 Jan 2026 14:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.403105
• Title: BERT-JEPA: Reorganizing CLS Embeddings for Language-Invariant Semantics
• Title（参考訳）: BERT-JEPA:言語不変セマンティックスのためのCLS埋め込みの再編成
• Authors: Taj Gillin, Adam Lalani, Kenneth Zhang, Marcel Mateos Salles,
• Abstract要約: BERTスタイルモデルにJEPAトレーニング目標を追加するトレーニングパラダイムであるBERT-JEPA(BEPA)を紹介する。 この新たな構造は、多言語ベンチマークにおけるパフォーマンスの向上につながっている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint Embedding Predictive Architectures (JEPA) are a novel self supervised training technique that have shown recent promise across domains. We introduce BERT-JEPA (BEPA), a training paradigm that adds a JEPA training objective to BERT-style models, working to combat a collapsed [CLS] embedding space and turning it into a language-agnostic space. This new structure leads to increased performance across multilingual benchmarks.
• Abstract（参考訳）: JEPA(Joint Embedding Predictive Architectures)は、ドメイン間で最近約束されている自己監督型トレーニング技術である。 BERTスタイルのモデルにJEPAトレーニングの目標を追加するトレーニングパラダイムであるBERT-JEPA(BEPA)を導入する。 この新たな構造は、多言語ベンチマークにおけるパフォーマンスの向上につながっている。

関連論文リスト

• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures [50.494504099850325]
  大規模言語モデル(LLM)の事前訓練、微調整、評価は、入力空間の再構築と生成能力に依存している。 しかし、例えば、JEPA(Joint Embedding Predictive Architectures)のような埋め込み空間トレーニングの目的は、入力空間の目標よりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-09-11T03:03:57Z)
• JEPA for RL: Investigating Joint-Embedding Predictive Architectures for Reinforcement Learning [4.862490782515929]
  画像からの学習を補強するために,統合埋め込み予測アーキテクチャをどのように適応させるかを示す。 モデル崩壊を議論し、それを防ぐ方法を示し、古典的なカートポールタスクの例示データを提供する。
  論文  参考訳（メタデータ） (2025-04-23T10:16:12Z)
• OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining [49.213120730582354]
  言語モデルをスクラッチから事前学習する代わりに、既存の事前学習言語モデル(PLM)を語彙拡張と継続事前学習を通じて新しい言語に適応させることがより効率的な方法である。 我々は、新しいフレームワークを提案する: $textbfO$ne $textbfF$or $textbfA$ll。
  論文  参考訳（メタデータ） (2023-11-15T10:40:45Z)
• Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
  本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。