論文の概要: SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs

• arxiv url: http://arxiv.org/abs/2502.12134v2
• Date: Tue, 27 May 2025 14:54:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.195211
• Title: SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs
• Title（参考訳）: ソフトCoT:LLMによる効率的な推論のためのソフトチェーン
• Authors: Yige Xu, Xu Guo, Zhiwei Zeng, Chunyan Miao,
• Abstract要約: CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 48.28847964704554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-Thought (CoT) reasoning enables Large Language Models (LLMs) to solve complex reasoning tasks by generating intermediate reasoning steps. However, most existing approaches focus on hard token decoding, which constrains reasoning within the discrete vocabulary space and may not always be optimal. While recent efforts explore continuous-space reasoning, they often require full-model fine-tuning and suffer from catastrophic forgetting, limiting their applicability to state-of-the-art LLMs that already perform well in zero-shot settings with a proper instruction. To address this challenge, we propose a novel approach for continuous-space reasoning that does not require modifying the LLM. Specifically, we employ a lightweight fixed assistant model to speculatively generate instance-specific soft thought tokens as the initial chain of thoughts, which are then mapped into the LLM's representation space via a trainable projection module. Experimental results on five reasoning benchmarks demonstrate that our method enhances LLM reasoning performance through supervised, parameter-efficient fine-tuning. Source code is available at https://github.com/xuyige/SoftCoT.
• Abstract（参考訳）: CoT(Chain-of-Thought)推論により、中間推論ステップを生成することで、LLM(Large Language Models)が複雑な推論タスクを解決することができる。 しかし、既存のほとんどのアプローチはハードトークンの復号化に焦点を当てており、これは離散的な語彙空間内で推論を制約し、常に最適であるとは限らない。 連続空間推論を探求する最近の試みは、しばしばフルモデルの微調整を必要とし、破滅的な忘れ込みに苦しむ。 この課題に対処するため,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。 具体的には、軽量な固定型アシスタントモデルを用いて、インスタンス固有のソフトシンキングトークンを初期チェーンとして投機的に生成し、トレーニング可能なプロジェクションモジュールを介してLLMの表現空間にマッピングする。 5つの推論ベンチマークによる実験結果から,本手法は教師付きパラメータ効率の微調整によりLCM推論性能を向上させることが示された。 ソースコードはhttps://github.com/xuyige/SoftCoT.comで入手できる。

関連論文リスト

• Guiding Reasoning in Small Language Models with LLM Assistance [23.3038074903744]
  小さな言語モデルは、深く、多段階の論理的推論を必要とするタスクに適していると疑念を抱いた。 本稿では,Small Reasons, Large Hintsというフレームワークについて紹介する。 数学的推論データセットを用いた実験により, ターゲットとなる外部足場の性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-04-14T06:32:45Z)
• "Well, Keep Thinking": Enhancing LLM Reasoning with Adaptive Injection Decoding [4.008780119020479]
  大規模言語モデル(LLM)は強力な推論能力を示しており、多くの場合、ほとんどショットやゼロショットの連鎖(CoT)のプロンプトによるものである。 本稿では,LLMを体系的に推論を継続し,未熟な推論を防止できる新しい復号法を提案する。
  論文  参考訳（メタデータ） (2025-03-13T08:46:32Z)
• InductionBench: LLMs Fail in the Simplest Complexity Class [53.70978746199222]
  大規模言語モデル(LLM)は推論において顕著に改善されている。 帰納的推論(inductive reasoning)は、観測されたデータから基礎となるルールを推測するものであり、まだ探索されていない。 本稿では, LLMの帰納的推論能力を評価するための新しいベンチマークであるインジェクションベンチを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T03:48:00Z)
• CRANE: Reasoning with constrained LLM generation [5.971462597321995]
  制約付きデコードアルゴリズムであるCRANEを提案し,制約付き生成の正しさと制約なし生成の柔軟性のバランスをとる。 CRANEは最先端の制約付き復号化戦略と標準の制約なし復号化戦略の両方を大きく上回っている。
  論文  参考訳（メタデータ） (2025-02-13T08:23:42Z)
• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)
• Training Large Language Models to Reason in a Continuous Latent Space [84.5618790930725]
  我々は,制約のない潜在空間における大規模言語モデル(LLM)推論の可能性を探るため,新しいパラダイムであるCoconut (Chain of Continuous Thought)を導入する。 実験により、ココナッツはいくつかの推論タスクにおいてLLMを効果的に増強できることが示されている。 これらの知見は、潜伏推論の可能性を実証し、将来の研究に価値ある洞察を与える。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
  大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-05T07:47:34Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [74.90592233107712]
  本稿では,直接推論 (DR) と間接推論 (IR) を並列な複数の推論経路として考慮し,最終解を導出する直接間接推論 (DIR) 手法を提案する。 我々のDIR法は単純だが有効であり、既存のCoT法と簡単に統合できる。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [10.421832675327712]
  本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
  論文  参考訳（メタデータ） (2023-11-12T05:12:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。