論文の概要: Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

• arxiv url: http://arxiv.org/abs/2505.15778v1
• Date: Wed, 21 May 2025 17:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.802745
• Title: Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space
• Title（参考訳）: ソフトシンキング - 連続概念空間におけるLLMの推論可能性の解き方
• Authors: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang,
• Abstract要約: ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
• 参考スコア（独自算出の注目度）: 62.54887038032942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.
• Abstract（参考訳）: 人間の認知は通常、個別の言語トークンを厳密に使用するのではなく、抽象的で流動的な概念を通して思考する。 しかし、現在の推論モデルは、人間の言語の境界内での推論に制約され、意味空間における固定点を表す離散トークン埋め込みを処理する。 この離散的な制約は、そのような推論モデルの表現力と上層ポテンシャルを制限し、標準的なChain-of-Thought (CoT) 法がステップ毎に1つのトークンをサンプリングすることに依存するため、しばしば推論経路の不完全な探索を引き起こす。 本研究では,連続的な概念空間において,ソフトで抽象的な概念トークンを生成することによって,人間のような「ソフト」推論をエミュレートする学習自由な手法であるSoft Thinkingを紹介する。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付け混合によって生成され、スムーズな遷移とよりリッチな表現を可能にし、従来の離散的境界を超越する。 本質的に、生成された概念トークンは、関連する離散トークンから複数の意味をカプセル化し、様々な推論経路を暗黙的に探索して、正しい解に向かって効果的に収束する。 様々な数学的およびコーディングベンチマークに関する実証的な評価は、ソフトシンキングの有効性と効率を一貫して示し、パス@1の精度を2.48ポイントまで改善し、トークンの使用量を標準のCoTに比べて最大22.4%削減した。 質的な分析により、Soft Thinkingのアウトプットは高い解釈性と可読性を維持し、Soft Thinkingが独立した言語に基づく推論の固有のボトルネックを突破する可能性を強調している。 コードはhttps://github.com/eric-ai-lab/Soft-Thinking.comで入手できる。

関連論文リスト

• Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens [13.653741247835091]
  Latent Thoughts Tuning(LT-Tuning)は、潜在思想の構築とデプロイ方法を再定義するフレームワークである。 本研究では,コンテキスト隠蔽状態と予測意味指導を協調的に活用するコンテキスト予測融合機構を提案する。 提案手法は,既存の潜在推論ベースラインより優れ,機能崩壊を効果的に軽減し,頑健な推論精度を実現する。
  論文  参考訳（メタデータ） (2026-02-10T19:19:10Z)
• Latent Reasoning with Supervised Thinking States [60.09942890192309]
  チェーン・オブ・思想(CoT)による推論により、LLM(Large Language Models)は複雑なタスクを解決できるが、かなりの推論コストを発生させる。 我々は、入力が処理されている間に推論エムを実行する方法であるThinking Statesを提案する。 我々は、思考状態がCoTよりも強い推論行動をもたらし、トレーニング中に見られるよりも長いシーケンスへの外挿に成功したことを示す。
  論文  参考訳（メタデータ） (2026-02-09T07:12:41Z)
• Improving Latent Reasoning in LLMs via Soft Concept Mixing [5.230565644173722]
  大規模言語モデル(LLM)は通常、離散トークンを生成することによって推論される。 ソフトコンセプトを意識したトレーニングスキームであるソフトコンセプト混合(SCM)を提案する。 SCMはトレーニング中にモデルをソフト表現に公開する。
  論文  参考訳（メタデータ） (2025-11-21T01:43:28Z)
• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning [30.62691333490551]
  大規模言語モデル(LLM)は、思考の連鎖生成を通じて推論能力を示す。 連続潜在表現の表現性を統一する新しい推論フレームワークであるLaDiRを提案する。 LaDiRは、既存の自己回帰的、拡散的、潜伏的推論方法よりも、精度、多様性、解釈性を一貫して改善する。
  論文  参考訳（メタデータ） (2025-10-06T08:15:03Z)
• MARCOS: Deep Thinking by Markov Chain of Continuous Thoughts [82.46857666702924]
  大規模言語モデル(LLM)における推論のための新しいパラダイムを提案する。 自己回帰的にトークンを生成する代わりに、連続的で高次元の「思考」のマルコフ連鎖として推論をモデル化する。 MARCOSはトークンベースのCoTに匹敵する性能を初めて達成し、GSM8Kでは4.7%、推論では15.7倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-09-29T16:44:22Z)
• LLMs are Single-threaded Reasoners: Demystifying the Working Mechanism of Soft Thinking [21.221368900834854]
  本稿では,大規模言語モデル(LLM)のソフトな抽象トークン生成能力について検討する。 一般的な信念とは対照的に,LSMはその後の復号過程において,ソフトインプットの最も影響力のある要素に依存していることが明らかとなった。 この問題に対処するために,ディリクレ再サンプリングやGumbel-Softmax トリックなどの手法を用いて,エミュランドネスを導入するためのサンプリング戦略を検討する。
  論文  参考訳（メタデータ） (2025-08-05T13:38:33Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Theorem-of-Thought: A Multi-Agent Framework for Abductive, Deductive, and Inductive Reasoning in Language Models [2.172419551358714]
  大規模言語モデル(LLM)は、自然言語推論タスク全体で強いパフォーマンスを示しているが、その推論プロセスは脆弱で解釈が難しいままである。 Theorem-of-Thought (ToTh)は、3つの並列エージェント間の協調として推論をモデル化する新しいフレームワークである。 シンボリック(WebOfLies)と数値(MultiArithm)の推論ベンチマークの実験は、ToThがCoT、セルフ一貫性、CoT-デコーディングを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-06-08T12:28:38Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [60.04718679054704]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大78%削減し、15の推論データセットで最小限の精度損失を発生させる。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [44.84219266082269]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Training Large Language Models to Reason in a Continuous Latent Space [84.5618790930725]
  我々は,制約のない潜在空間における大規模言語モデル(LLM)推論の可能性を探るため,新しいパラダイムであるCoconut (Chain of Continuous Thought)を導入する。 実験により、ココナッツはいくつかの推論タスクにおいてLLMを効果的に増強できることが示されている。 これらの知見は、潜伏推論の可能性を実証し、将来の研究に価値ある洞察を与える。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Paraconsistent Foundations for Probabilistic Reasoning, Programming and Concept Formation [0.0]
  4値のパラ一貫性真理値(ここでは「pビット」と呼ばれる)は、確率論的論理とプログラミングと概念形成の高度AI関連形式の概念的、数学的、実践的な基礎として機能する。 構成的双対(CD)論理に従って動作している4値のpビットの平均平均値と再正規化がPLN(Probabilistic Logic Networks)の強度と自信の真理値をもたらすことが示されている。
  論文  参考訳（メタデータ） (2020-12-28T20:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。