論文の概要: Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2604.22709v2
• Date: Mon, 27 Apr 2026 06:21:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:06.958209
• Title: Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought
• Title（参考訳）: 言葉なしで考える: 抽象的な鎖で効率的に推論する
• Authors: Keshav Ramji, Tahira Naseem, Ramón Fernandez Astudillo,
• Abstract要約: Abstract-CoTは、数学的推論、命令フォロー、マルチホップ推論に匹敵するパフォーマンスを示しながら、推論トークンを最大11.6タイムで削減する。 本研究は,学習した抽象的推論言語による効率的な推論を可能にする,学習後の潜在推論メカニズムの可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 13.72996269125319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While long, explicit chains-of-thought (CoT) have proven effective on complex reasoning tasks, they are costly to generate during inference. Non-verbal reasoning methods have emerged with shorter generation lengths by leveraging continuous representations, yet their performance lags behind verbalized CoT. We propose $\textbf{Abstract Chain-of-Thought}$, a discrete latent reasoning post-training mechanism in which the language model produces a short sequence of tokens from a reserved vocabulary in lieu of a natural language CoT, before generating a response. To make previously unseen ''abstract'' tokens useful, we introduce a policy iteration-style warm-up loop that alternates between (i.) bottlenecking from a verbal CoT via masking and performing supervised fine-tuning, and (ii.) self-distillation by training the model to generate abstract tokens from the prompt alone via constrained decoding with the codebook. After warm-up, we optimize the generation of abstract sequences with warm-started reinforcement learning under constrained decoding. Abstract-CoT achieves up to $11.6\times$ fewer reasoning tokens while demonstrating comparable performance across mathematical reasoning, instruction-following, and multi-hop reasoning, and generalizes across language model families. We also find an emergent power law distribution over the abstract vocabulary, akin to those seen in natural language, that evolves across the training phases. Our findings highlight the potential for post-training latent reasoning mechanisms that enable efficient inference through a learned abstract reasoning language.
• Abstract（参考訳）: 長く明確なチェーン・オブ・シント(CoT)は複雑な推論タスクに有効であることが証明されているが、推論中に生成するのにコストがかかる。 非言語的推論法は連続表現を利用して短い世代長で現れるが、その性能は言語化されたCoTより遅れている。 自然言語CoTの代わりに予約された語彙から短いトークン列を生成して応答を生成する、離散的な遅延推論後学習機構である$\textbf{Abstract Chain-of-Thought}$を提案する。 従来は見えなかった'アブストラクト'トークンを便利にするために、マスキングと教師付き微調整によって言語CoTからボトルネックを交互に処理するポリシー反復型ウォームアップループを導入する。 ウォームアップ後、制約付き復号化の下で、ウォームスタートした強化学習を用いて抽象シーケンスの生成を最適化する。 Abstract-CoTは、数学的推論、命令フォロー、マルチホップ推論で同等のパフォーマンスを示し、言語モデルファミリで一般化しながら、最大11.6\times$より少ない推論トークンを実現している。 また、自然言語で見られるような抽象的な語彙にまたがる創発的な力の法則が、訓練段階にわたって進化する。 本研究は,学習した抽象的推論言語による効率的な推論を可能にする,学習後の潜在推論メカニズムの可能性を明らかにするものである。

関連論文リスト

• Efficient Reasoning via Thought Compression for Language Segmentation [28.138192925569317]
  CoT推論は言語誘導セグメンテーションにおける大規模マルチモーダルモデルの性能を大幅に向上させた。 WISEは、テキスト思考の原則によって導かれる効率的な推論のための新しいパラダイムであり、学習のために1回、スピードのために1回、テキスト思考を2回実施する。 我々は、WISEが58.3 cIoUでReasonSegベンチマークで最先端のゼロショット性能を実現し、平均推論長を112から23トークンにほぼ短縮することを示した。
  論文  参考訳（メタデータ） (2026-04-02T13:45:01Z)
• ImgCoT: Compressing Long Chain of Thought into Compact Visual Tokens for Efficient Reasoning of Large Language Model [34.90582960625524]
  大規模言語モデル (LLM) を用いた効率的な推論には, コンパクトな潜在トークンへの思考(CoT)の長い連鎖が不可欠である。 テキストCoTから画像にCoTを描画して得られる視覚CoTに置き換えるImgCoTを提案する。 これにより、言語バイアスを空間的帰納バイアスに置き換え、潜在トークンがグローバルな推論構造をよりよく捉えることができる。
  論文  参考訳（メタデータ） (2026-01-30T09:06:45Z)
• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• Latent Reasoning via Sentence Embedding Prediction [41.06552269338159]
  本稿では,次の文の連続的な埋め込みを自動回帰予測することにより,事前訓練されたトークンレベルのLMを文空間内での操作に適応させるフレームワークを提案する。 以上の結果から,事前学習したLMは,遅延埋め込み空間内での抽象的構造的推論に効果的に移行できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T10:28:35Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
  我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。 この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。 この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。