論文の概要: JEPA-Reasoner: Decoupling Latent Reasoning from Token Generation

• arxiv url: http://arxiv.org/abs/2512.19171v2
• Date: Thu, 25 Dec 2025 00:16:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-29 13:23:29.793782
• Title: JEPA-Reasoner: Decoupling Latent Reasoning from Token Generation
• Title（参考訳）: JEPA-Reasoner: 遅延推論をトークン生成から切り離す
• Authors: Bingyang Kelvin Liu, Ziyu Patrick Chen, David P. Woodruff,
• Abstract要約: JEPA(Joint-Embedding Predictive Architecture)は、リッチな潜在表現を学習するための強力なアーキテクチャとして登場した。 我々はJEPAベースの新しいアーキテクチャであるJEPA-Reasonerを提案する。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Joint-Embedding Predictive Architecture (JEPA) has emerged as a powerful architecture for learning rich latent representations, it fundamentally lacks generative abilities. Meanwhile, current latent reasoning models remain limited by the token-by-token generation paradigm, which suffers from compounding errors and heavy context dependency. To address these limitations, we proposed JEPA-Reasoner, a novel JEPA-based architecture enhanced with generative ability for latent reasoning. We augment this architecture with a separate action-talker model, Talker, to reconstruct human-readable text from latent representations produced by the JEPA-Reasoner. Our work demonstrated that decoupling latent-space reasoning from token production enables JEPA-Reasoner to produce mixed latent vectors, laying a foundation for multi-threaded reasoning and achieving superior robustness against compounding errors in autoregressive generation.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architecture)は、リッチな潜在表現を学習するための強力なアーキテクチャとして登場したが、基本的には生成能力に欠ける。 一方、現在の潜在推論モデルは、複雑なエラーと重いコンテキスト依存に悩まされるトークン・バイ・トークン生成パラダイムによって制限され続けている。 この制限に対処するため、私たちはJEPAベースの新しいアーキテクチャであるJEPA-Reasonerを提案しました。 我々は,JEPA-Reasonerによって生成された潜在表現から可読テキストを再構築するために,別のアクションストーカーモデルであるTalkerでこのアーキテクチャを拡張した。 トークン生成から遅延空間推論を分離することで、JEPA-Reasonerは混合遅延ベクトルを生成でき、マルチスレッド推論の基礎を築き、自己回帰生成における複合エラーに対して優れた堅牢性を実現することができることを示した。

関連論文リスト

• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning [30.62691333490551]
  大規模言語モデル(LLM)は、思考の連鎖生成を通じて推論能力を示す。 連続潜在表現の表現性を統一する新しい推論フレームワークであるLaDiRを提案する。 LaDiRは、既存の自己回帰的、拡散的、潜伏的推論方法よりも、精度、多様性、解釈性を一貫して改善する。
  論文  参考訳（メタデータ） (2025-10-06T08:15:03Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Denoising with a Joint-Embedding Predictive Architecture [21.42513407755273]
  私たちはD-JEPA(Joint-Embedding Predictive Architecture)でDenoisingを紹介します。 本稿では,JEPAをマスク画像モデリングの一形態として認識することにより,一般化した次世代予測戦略として再解釈する。 また,拡散損失を利用して確率分布をモデル化し,連続空間におけるデータ生成を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T05:57:10Z)
• Latent Diffusion Model for Conditional Reservoir Facies Generation [0.7916635054977068]
  貯水池環境の条件付き生成に特化して設計された新しい潜水拡散モデルが提案されている。 提案モデルでは条件付きデータを厳格に保存する高忠実度ファシリゼーションを実現する。
  論文  参考訳（メタデータ） (2023-11-03T15:10:05Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
  我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。 本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。 前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
  論文  参考訳（メタデータ） (2022-05-18T21:52:11Z)
• Guided Generation of Cause and Effect [52.44584102429394]
  本稿では,原因や影響のセンテンシャルな表現を提示する条件付きテキスト生成フレームワークを提案する。 このフレームワークは2つの新しいリソースに依存している: 因果パターンを表現した大規模な英語文の収集、および大きな語彙因果知識グラフの構築に関する以前の研究に対する改良。
  論文  参考訳（メタデータ） (2021-07-21T02:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。