論文の概要: J-CoT: Chain-of-Thought in J-Space

• arxiv url: http://arxiv.org/abs/2607.21981v1
• Date: Fri, 24 Jul 2026 04:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.050788
• Title: J-CoT: Chain-of-Thought in J-Space
• Title（参考訳）: J-CoT: J-SpaceにおけるChain-of-Thought
• Authors: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan,
• Abstract要約: チェーン・オブ・シークレットは、逐次計算ステップで中間状態を運ぶことで言語モデル推論を改善する。 我々は,emphJ空間上に構築されたリカレント推論フレームワークであるtextbfJ-CoTを紹介した。
• 参考スコア（独自算出の注目度）: 7.893457716552934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought prompting improves language-model reasoning by carrying intermediate states across successive computation steps. However, relying on natural language as the only recurrent interface is overly restrictive, since many transient computations do not need to be fully verbalized. Existing latent-reasoning methods remove this constraint by recurrently propagating continuous hidden states. However, these methods pass a dense hidden vector as a whole, without an explicit mechanism for selecting and organizing the information needed by the next reasoning step. This motivates an intermediate interface that remains linguistically grounded without requiring a decoded sentence. We introduce \textbf{J-CoT}, a recurrent reasoning framework built on \emph{J-space}, a vocabulary-indexed coordinate system within the model's hidden representations. Within each cycle, the model computes in its full hidden space. At the cycle boundary, J-CoT expresses the intermediate state as vocabulary-indexed coefficients, carries these coefficients forward as a \emph{J-thought}, and maps them back into the model's hidden representation for the next cycle. J-CoT therefore requires neither a fluent intermediate rationale nor recurrence over the complete hidden state. Under matched backbone and inference settings, J-CoT-Zero matches or exceeds the strongest evaluated latent-reasoning baseline on every benchmark, while J-CoT-Train obtains the highest score across the evaluated mathematical, scientific, coding, and structured path-reasoning tasks.
• Abstract（参考訳）: チェーン・オブ・シークレットは、逐次計算ステップで中間状態を運ぶことで言語モデル推論を改善する。 しかし、自然言語を唯一のリカレントインターフェースとして依存することは、過度に制限され、多くの過渡的な計算を完全に言語化する必要がなくなる。 既存の潜在推論手法は、連続した隠れ状態を繰り返し伝播することによって、この制約を除去する。 しかし、これらの手法は、次の推論ステップで必要とされる情報を選択・整理するための明示的なメカニズムを持たず、隠れたベクトル全体を渡す。 これは、デコードされた文を必要とせずに言語的に基盤を保った中間インターフェイスを動機付けている。 本稿では,モデルに隠された表現の内,語彙付き座標系である \emph{J-space} 上に構築されたリカレント推論フレームワークである \textbf{J-CoT} を紹介する。 各サイクル内で、モデルは完全な隠れた空間で計算する。 サイクル境界において、J-CoT は中間状態を語彙付き指数係数として表現し、これらの係数を \emph{J- Thought} として前方に運び、次のサイクルに対してモデルの隠れ表現にマッピングする。 したがって、J-CoTは、完全に隠された状態に対して、流動的な中間的理性や再発を必要としない。 一致したバックボーンと推論設定の下では、J-CoT-Zeroはすべてのベンチマークで最も評価された潜在推論ベースラインにマッチするか、もしくは超え、J-CoT-Trainは評価された数学的、科学的、コーディング、構造化されたパス推論タスクの中で最高スコアを得る。

関連論文リスト

• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models [15.95627037350657]
  CoT (Explicit Chain-of-Thought) 計算はトークンレベルのトレースを内部化することによって高い推論コストを発生させる。 固定応答テンプレートを強制せずに、明示的なCoTをコンパクトなポーズトークンに圧縮するフレキシブルなフレームワークであるSPOTを提案する。 推論ベンチマークの実験では、SPOTは生成したトークンを37.5%削減しながら、平均2.3ポイントの精度を向上している。
  論文  参考訳（メタデータ） (2026-03-06T12:34:27Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• CODI: Compressing Chain-of-Thought into Continuous Space via Self-Distillation [30.762815456866083]
  自然言語CoTを連続空間に効果的に圧縮する新しいトレーニングフレームワークであるCODI(Continuous Chain-of-Thought via Self-Distillation)を紹介する。 CODI は GPT-2 スケールでの GSM8k 上での明示的な CoT のパフォーマンスに適合する最初の暗黙の CoT アプローチである。
  論文  参考訳（メタデータ） (2025-02-28T14:07:48Z)
• Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
  我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。 この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。 この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。