論文の概要: Structural Process Supervision for Latent Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2609.09928v1
• Date: Wed, 09 Sep 2026 09:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.965499
• Title: Structural Process Supervision for Latent Chain-of-Thought Reasoning
• Title（参考訳）: 潜在鎖型推論のための構造プロセスのスーパービジョン
• Abstract要約: Prototype-Mediated Process Supervision (PMPS) は、遅延埋め込みと明示的なチェーンオブ思考を共有プロトタイプ空間に組み込むプロジェクトである。 PMPSはGSM8K-Aug上で出力トークン長を明示的なCoTの50%以下に圧縮する。 より大きなモデルとより困難なタスクにおいて、PMPSは出力長に匹敵する潜在的推論手法の中で、常に高い精度を達成している。
• 参考スコア（独自算出の注目度）: 45.1922274576773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent reasoning approaches enhance token-level efficiency and robustness by replacing verbose, explicit chain-of-thought (CoT) tokens with compact continuous-space embeddings. However, existing methods lack direct process supervision over these latent embeddings, which often leads to representation collapse and uneven information distribution. To address this, we propose Prototype-Mediated Process Supervision (PMPS), which introduces learnable reasoning prototypes as semantic anchors to provide structural process-level supervision for latent reasoning. PMPS projects latent embeddings and explicit CoT embeddings into a shared prototype space, achieving many-to-many soft alignment between unequal-length representations through prototype assignment. Meanwhile, we introduce a Progressive Sequential Alignment (PSA) module to further guide training: positional priors initially encourage sequential alignment structure, then gradually relax to permit adaptive matching. Experimental results show that PMPS compresses output token length to under 50% of explicit CoT on GSM8K-Aug. Compared to leading baseline SIM-CoT, our method achieves average accuracy gains of 2.08% across different model families. On GPT-2, PMPS even surpasses CoT-SFT. On larger models and a more challenging task, PMPS consistently attains the highest accuracy among all latent reasoning methods with comparable output length.
• Abstract（参考訳）: 潜在推論アプローチは、冗長で明示的なチェーン・オブ・シークレット(CoT)トークンをコンパクトな連続空間埋め込みに置き換えることで、トークンレベルの効率性と堅牢性を高める。 しかし、既存の手法は、これらの潜伏した埋め込みに対して直接プロセスの監督を欠いているため、しばしば表現の崩壊や不均一な情報分布につながる。 そこで本研究では,学習可能な推論用プロトタイプをセマンティックアンカーとして導入し,遅延推論のための構造的プロセスレベルの監視を行うPMPS(Prototype-Mediated Process Supervision)を提案する。 PMPSは遅延埋め込みと明示的なCoT埋め込みを共有プロトタイプ空間に計画し、プロトタイプの割り当てを通じて不等長表現間の多対多のソフトアライメントを実現する。 一方,PSA(Progressive Sequential Alignment)モジュールを導入して,トレーニングの促進を図る。 実験の結果,PMPS は GSM8K-Aug 上で出力トークン長を 50% 以下に圧縮することがわかった。 ベースラインSIM-CoTと比較して,モデルファミリの平均精度は2.08%向上した。 GPT-2では、PMPSはCoT-SFTを超えている。 より大きなモデルとより困難なタスクにおいて、PMPSは出力長に匹敵する潜在的推論手法の中で、常に高い精度を達成している。

関連論文リスト

• Training Continuous Chain of Thought Models: A Tale of Two Regimes [39.805252492017715]
  連続チェイン・オブ・ソート法は、冗長な推論トレースを、密度の高い潜在表現の短い列に置き換える。 C-MTPは、圧縮対象のCoTトレースへの埋め込みの平均として、各遅延をモデル化する、よりシンプルで高速な直接監督手法である。 我々は、連続CoT法の評価を、より長い推論トレースを持つ複雑なタスクに拡張する。
  論文  参考訳（メタデータ） (2026-07-18T21:32:06Z)
• RuPLaR : Efficient Latent Compression of LLM Reasoning Chains with Rule-Based Priors From Multi-Step to One-Step [7.647393987025467]
  ルールベースプライオリティを用いた遅延推論のための新しい圧縮フレームワークであるOne-Model One-Stepを紹介する。 本手法は,LSMを訓練し,単一の訓練段階において遅延推論トークンを自律的に生成する。 実験の結果,既存の潜在CoT法よりも11.1%精度が向上した。
  論文  参考訳（メタデータ） (2026-05-10T05:55:07Z)
• Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy [51.887915969023965]
  現代のLarge Language Models (LLMs) がアライメントされ、測定可能な分布インプリントが残されていることを示す。 高エントロピー領域における不安定性を軽減するため、ログライクなアライメント・アライメント・プレフレパシー(LAPD)を導入する。 LAPDはアライメントインプリントに基づく標準化された情報重み統計である。
  論文  参考訳（メタデータ） (2026-04-18T09:12:24Z)
• PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
  ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。 最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T14:04:53Z)
• EntroCoT: Enhancing Chain-of-Thought via Adaptive Entropy-Guided Segmentation [18.606842425858]
  CoT(Chain-of-Thought)の促進により、大規模言語モデルの数学的推論能力が大幅に向上した。 既存の微調整データセットは、しばしば"答えは正しいが間違った理由"プローブに悩まされる。 本稿では,高品質なCoT監視トレースを自動的に識別し,精錬するための統合フレームワークであるEntroCoTを提案する。
  論文  参考訳（メタデータ） (2026-01-07T10:02:27Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding [14.175444025026508]
  大規模言語モデル(LLM)は、チェーン・オブ・シント(CoT)のプロンプトを必要とするタスクにおいて顕著な機能を示した。 完全なCoTプロセスを生成すると、出力シーケンスが大幅に長くなり、推論時の計算コストと遅延が増大する。 セマンティックアライメントによってCoTプロセスを圧縮し、CoT推論の利点を保ちながらより効率的な復号化を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T06:29:20Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。