論文の概要: Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

• arxiv url: http://arxiv.org/abs/2505.15778v1
• Date: Wed, 21 May 2025 17:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.802745
• Title: Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space
• Title（参考訳）: ソフトシンキング - 連続概念空間におけるLLMの推論可能性の解き方
• Authors: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang,
• Abstract要約: ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
• 参考スコア（独自算出の注目度）: 62.54887038032942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.
• Abstract（参考訳）: 人間の認知は通常、個別の言語トークンを厳密に使用するのではなく、抽象的で流動的な概念を通して思考する。 しかし、現在の推論モデルは、人間の言語の境界内での推論に制約され、意味空間における固定点を表す離散トークン埋め込みを処理する。 この離散的な制約は、そのような推論モデルの表現力と上層ポテンシャルを制限し、標準的なChain-of-Thought (CoT) 法がステップ毎に1つのトークンをサンプリングすることに依存するため、しばしば推論経路の不完全な探索を引き起こす。 本研究では,連続的な概念空間において,ソフトで抽象的な概念トークンを生成することによって,人間のような「ソフト」推論をエミュレートする学習自由な手法であるSoft Thinkingを紹介する。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付け混合によって生成され、スムーズな遷移とよりリッチな表現を可能にし、従来の離散的境界を超越する。 本質的に、生成された概念トークンは、関連する離散トークンから複数の意味をカプセル化し、様々な推論経路を暗黙的に探索して、正しい解に向かって効果的に収束する。 様々な数学的およびコーディングベンチマークに関する実証的な評価は、ソフトシンキングの有効性と効率を一貫して示し、パス@1の精度を2.48ポイントまで改善し、トークンの使用量を標準のCoTに比べて最大22.4%削減した。 質的な分析により、Soft Thinkingのアウトプットは高い解釈性と可読性を維持し、Soft Thinkingが独立した言語に基づく推論の固有のボトルネックを突破する可能性を強調している。 コードはhttps://github.com/eric-ai-lab/Soft-Thinking.comで入手できる。

関連論文リスト

• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [60.04718679054704]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大78%削減し、15の推論データセットで最小限の精度損失を発生させる。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [44.84219266082269]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Training Large Language Models to Reason in a Continuous Latent Space [84.5618790930725]
  我々は,制約のない潜在空間における大規模言語モデル(LLM)推論の可能性を探るため,新しいパラダイムであるCoconut (Chain of Continuous Thought)を導入する。 実験により、ココナッツはいくつかの推論タスクにおいてLLMを効果的に増強できることが示されている。 これらの知見は、潜伏推論の可能性を実証し、将来の研究に価値ある洞察を与える。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Paraconsistent Foundations for Probabilistic Reasoning, Programming and Concept Formation [0.0]
  4値のパラ一貫性真理値(ここでは「pビット」と呼ばれる)は、確率論的論理とプログラミングと概念形成の高度AI関連形式の概念的、数学的、実践的な基礎として機能する。 構成的双対(CD)論理に従って動作している4値のpビットの平均平均値と再正規化がPLN(Probabilistic Logic Networks)の強度と自信の真理値をもたらすことが示されている。
  論文  参考訳（メタデータ） (2020-12-28T20:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。