論文の概要: Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve

• arxiv url: http://arxiv.org/abs/2608.03550v1
• Date: Tue, 04 Aug 2026 12:22:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.183391
• Title: Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve
• Title（参考訳）: ソフトガイダンスがCoTプロンプトを上回り始める-LCM改善で
• Abstract要約: CoT(Chain-of-Thought)は、モデルの推論能力を評価するための標準ベースラインである。 数学問題解決タスクにおける現代中規模言語モデルの評価を行い、推論に特化しているモデルがゼロショットの単純な設定でより優れた性能を実現することを発見した。
• 参考スコア（独自算出の注目度）: 9.816961500772061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) prompting remains the standard baseline for evaluating models' reasoning abilities. Originally, this technique was introduced to elicit step-by-step reasoning from large language models (LLMs), which would otherwise tend to directly output the final answer. However, many modern LLMs produce CoT-style responses \textit{natively} when presented with reasoning tasks, which made us revisit the effectiveness of standard CoT prompting. We evaluate several modern mid-sized language models on a math problem-solving task and find that models specialized for reasoning achieve better performance in a simple zero-shot setting than when using few-shot CoT examples - significantly surpassing officially reported results at no additional cost (e.g., from $\sim$77\% to $\sim$84\% for Mathstral on GSM8K). For the tested general-purpose model, a zero-shot CoT prompt is also sufficient to outperform a few-shot CoT baseline. We attribute this to a `guidance-distraction' tradeoff: standard CoT prompting also demands style adaptation, formatting compliance, and potentially undesired contextualization, which can distract models from the core reasoning task. Our findings suggest that using standard CoT prompting increasingly acts as a source of distraction as models grow stronger.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、モデルの推論能力を評価するための標準ベースラインであり続けている。 当初、この手法は大規模言語モデル(LLM)からステップバイステップの推論を引き出すために導入され、そうでなければ最終回答を直接出力する傾向にあった。 しかし,現代のLLMでは推論タスクを提示するとCoTスタイルの応答が生成され,標準のCoTプロンプトの有効性を再考する。 計算問題解決タスクにおいて、現代の中規模言語モデルの評価を行い、単純なゼロショット設定で推論を専門とするモデルは、数ショットのCoT例を使用する場合よりも優れた性能が得られることを発見した(例えば、GSM8K上のMathstralでは$$$sim$77\%から$\sim$84\%)。 試験された汎用モデルでは、ゼロショットのCoTプロンプトは数ショットのCoTベースラインを上回るのに十分である。 標準のCoTプロンプトは、スタイル適応、フォーマットコンプライアンス、および潜在的に望ましくないコンテキスト化を要求します。 以上の結果から,標準のCoTの使用により,モデルがより強くなるにつれて,混乱の源となることが示唆された。

関連論文リスト

• WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
  基礎推薦モデル(FRM)のための効率的な潜在推論フレームワークであるWhisperRecを提案する。 WhisperRecは教師生成のChain-of-Thought(CoT)を学習可能な潜在推論トークンに圧縮する。 WhisperRecは明示的なCoT法と従来のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-29T08:48:35Z)
• DAG-Math: Graph-Guided Mathematical Reasoning in LLMs [54.231935013127206]
  大型言語モデル (LLM) は, CoT (Chain-of-Thought) による数学的問題に対して高い性能を示す 我々は、有向非巡回グラフ(DAG)上の一定の規則に基づくプロセスとしてCoTをモデル化することを提案する。 ここでは,モデルのCoT軌道がDAG構造にどの程度よく依存するかを定量化する計量である論理的近接性を導入する。
  論文  参考訳（メタデータ） (2025-10-19T21:05:17Z)
• The Challenge of Teaching Reasoning to LLMs Without RL or Distillation [31.973226821366325]
  推論可能な言語モデルは、長く明示的なChain-of-Thoughtトレースを生成することで、様々な複雑なタスクにおいて最先端のパフォーマンスを達成する。 我々は、プロンプトや最小限のチューニングのみを用いて、ベースモデルでCoTを誘導できるかどうかを問う。 結果として得られたモデルは、はるかに大きなtexttQwen2.5-Math-72B-Instruct よりも優れており、いくつかの高品質な例が強力な推論能力を解き放つ可能性があることを示している。
  論文  参考訳（メタデータ） (2025-07-14T01:14:50Z)
• Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting [0.0]
  Chain-of-Thought(CoT)プロンプトは,大規模言語モデルに“ステップバイステップ”を推奨するテクニックである。 CoTプロンプトの有効性はタスクの種類やモデルによって大きく異なる。 明確な推論能力を持つモデルの場合、CoTのプロンプトは答えの正確性に限界があるだけである。
  論文  参考訳（メタデータ） (2025-06-08T13:41:25Z)
• Learning Composable Chains-of-Thought [57.73731224510169]
  我々は大規模言語モデル (LLM) を訓練し, 帰属的推論問題のチェーン・オブ・シント (CoT) トレースを推論する。 我々はCoTデータをラベル付けしていない対象構成課題に対処する際の推論スキルの合成一般化に向けて一歩踏み出した。 アトミックタスク上の"アトミックCoT"モデルをComposable CoTデータでトレーニングし、マルチタスク学習やモデルマージと組み合わせて、ターゲットのコンポジションタスク上でのゼロショットパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2025-05-28T17:51:10Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
  CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。 復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
  論文  参考訳（メタデータ） (2024-02-15T18:55:41Z)
• Distilling Reasoning Capabilities into Smaller Language Models [83.66051257039763]
  思考の連鎖(CoT)のようなステップバイステップの推論アプローチは、大規模言語モデルにおける推論能力の誘導に非常に効果的であることが証明されている。 しかし、CoTアプローチの成功は基本的にモデルのサイズに結びついており、CoTを機能させるためには数十億のパラメータスケールモデルが必要であることが多い。 本研究では,大規模モデルのCoT推論能力を段階的に活用し,これらの能力をより小さなモデルに蒸留する知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-12-01T00:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。