論文の概要: JEPA-Reasoner: Decoupling Latent Reasoning from Token Generation

• arxiv url: http://arxiv.org/abs/2512.19171v1
• Date: Mon, 22 Dec 2025 09:05:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.683179
• Title: JEPA-Reasoner: Decoupling Latent Reasoning from Token Generation
• Title（参考訳）: JEPA-Reasoner: 遅延推論をトークン生成から切り離す
• Authors: Bingyang Kelvin Liu, Ziyu Patrick Chen,
• Abstract要約: JEPA(Joint-Embedding Predictive Architecture)は、リッチな潜在表現を学習するための強力なアーキテクチャとして登場した。 本稿では,潜在空間に原因を持つ生成能力を拡張したJEPAモデルであるJEPA-Reasonerを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Joint-Embedding Predictive Architecture (JEPA) has emerged as a powerful architecture for learning rich latent representations, it fundamentally lacks generative abilities. Meanwhile, latent space reasoning attempts for Transformer models like COCONUT do improve performance, but they ultimately rely on token-by-token generation, which still accumulates compounding error and relies on context information to gain reasoning insights. To address these limitations, we propose JEPA-Reasoner, a novel JEPA model enhanced with generative ability that reasons in latent space. We augment it with a separate action-taker model, Talker, to produce human-readable sentences. Our approach demonstrates that decoupling latent space reasoning and token generation enables JEPA-Reasoner to produce mixed latent vectors that might lay the foundation for multi-threaded reasoning, while performing autoregressive generation with superior robustness to compounding error.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architecture)は、リッチな潜在表現を学習するための強力なアーキテクチャとして登場したが、基本的には生成能力に欠ける。 一方、COCONUTのようなトランスフォーマーモデルの潜時空間推論はパフォーマンスを向上させるが、最終的にはトークン・バイ・トークン・ジェネレーションに頼っている。 これらの制約に対処するため、潜伏空間に原因がある生成能力を拡張した新しいJEPAモデルであるJEPA-Reasonerを提案する。 我々は、人間の読みやすい文章を生成するために、別個のアクションテッカーモデルであるTalkerでそれを拡張した。 提案手法は,遅延空間推論とトークン生成を分離することにより,JEPA-Reasonerが多重スレッド推論の基礎となるような混合遅延ベクトルを生成できることを示す。

関連論文リスト

• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning [30.62691333490551]
  大規模言語モデル(LLM)は、思考の連鎖生成を通じて推論能力を示す。 連続潜在表現の表現性を統一する新しい推論フレームワークであるLaDiRを提案する。 LaDiRは、既存の自己回帰的、拡散的、潜伏的推論方法よりも、精度、多様性、解釈性を一貫して改善する。
  論文  参考訳（メタデータ） (2025-10-06T08:15:03Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Denoising with a Joint-Embedding Predictive Architecture [21.42513407755273]
  私たちはD-JEPA(Joint-Embedding Predictive Architecture)でDenoisingを紹介します。 本稿では,JEPAをマスク画像モデリングの一形態として認識することにより,一般化した次世代予測戦略として再解釈する。 また,拡散損失を利用して確率分布をモデル化し,連続空間におけるデータ生成を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T05:57:10Z)
• Latent Diffusion Model for Conditional Reservoir Facies Generation [0.7916635054977068]
  貯水池環境の条件付き生成に特化して設計された新しい潜水拡散モデルが提案されている。 提案モデルでは条件付きデータを厳格に保存する高忠実度ファシリゼーションを実現する。
  論文  参考訳（メタデータ） (2023-11-03T15:10:05Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
  我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。 本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。 前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
  論文  参考訳（メタデータ） (2022-05-18T21:52:11Z)
• Guided Generation of Cause and Effect [52.44584102429394]
  本稿では,原因や影響のセンテンシャルな表現を提示する条件付きテキスト生成フレームワークを提案する。 このフレームワークは2つの新しいリソースに依存している: 因果パターンを表現した大規模な英語文の収集、および大きな語彙因果知識グラフの構築に関する以前の研究に対する改良。
  論文  参考訳（メタデータ） (2021-07-21T02:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。