Fugu-MT 論文翻訳(概要): The Challenge of Teaching Reasoning to LLMs Without RL or Distillation

論文の概要: The Challenge of Teaching Reasoning to LLMs Without RL or Distillation

arxiv url: http://arxiv.org/abs/2507.09850v3
Date: Wed, 16 Jul 2025 17:16:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-17 12:30:11.76162
Title: The Challenge of Teaching Reasoning to LLMs Without RL or Distillation
Title（参考訳）: RLや蒸留を使わずにLLMを指導する上での課題
Authors: Wei Du, Branislav Kisacanin, George Armstrong, Shubham Toshniwal, Ivan Moshkov, Alexan Ayrapetyan, Sadegh Mahdavi, Dan Zhao, Shizhe Diao, Dragan Masulovic, Marius Stanean, Advaith Avadhanam, Max Wang, Ashmit Dutta, Shitij Govil, Sri Yanamandara, Mihir Tandon, Sriram Ananthakrishnan, Vedant Rathi, David Zhang, Joonseok Kang, Leon Luo, Titu Andreescu, Boris Ginsburg, Igor Gitman,
Abstract要約: 推論可能な言語モデルは、長く明示的なChain-of-Thoughtトレースを生成することで、様々な複雑なタスクにおいて最先端のパフォーマンスを達成する。我々は、プロンプトや最小限のチューニングのみを用いて、ベースモデルでCoTを誘導できるかどうかを問う。結果として得られたモデルは、はるかに大きなtexttQwen2.5-Math-72B-Instruct よりも優れており、いくつかの高品質な例が強力な推論能力を解き放つ可能性があることを示している。
参考スコア（独自算出の注目度）: 31.973226821366325
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reasoning-capable language models achieve state-of-the-art performance in diverse complex tasks by generating long, explicit Chain-of-Thought (CoT) traces. While recent works show that base models can acquire such reasoning traces via reinforcement learning or distillation from stronger models like DeepSeek-R1, previous works demonstrate that even short CoT prompting without fine-tuning is able to improve reasoning. We ask whether long CoT can be induced in a base model using only prompting or minimal tuning. Using just 20 long CoT examples from the reasoning model \texttt{QwQ-32B-Preview}, we lightly fine-tune the base model \texttt{Qwen2.5-32B}. The resulting model outperforms the much larger \texttt{Qwen2.5-Math-72B-Instruct}, showing that a handful of high-quality examples can unlock strong reasoning capabilities. We further explore using CoT data from non-reasoning models and human annotators, enhanced with prompt engineering, multi-pass editing, and structural guidance. However, neither matches the performance of reasoning model traces, suggesting that certain latent qualities of expert CoT are difficult to replicate. We analyze key properties of reasoning data, such as problem difficulty, diversity, and answer length, that influence reasoning distillation. While challenges remain, we are optimistic that carefully curated human-written CoT, even in small quantities, can activate reasoning behaviors in base models. We release our human-authored dataset across refinement stages and invite further investigation into what makes small-scale reasoning supervision so effective.
Abstract（参考訳）: 推論可能な言語モデルは、長く明示的なCoT(Chain-of-Thought)トレースを生成することで、様々な複雑なタスクにおいて最先端のパフォーマンスを達成する。最近の研究では、ベースモデルがDeepSeek-R1のような強力なモデルから強化学習や蒸留によってそのような推論の痕跡を取得できることが示されていますが、以前の研究では、微調整なしで短いCoTプロンプトでも推論を改善することができることが示されています。我々は、プロンプトや最小限のチューニングのみを用いて、ベースモデルでCoTを誘導できるかどうかを問う。推論モデル \texttt{QwQ-32B-Preview} の20個の長いCoT例を使って、ベースモデル \texttt{Qwen2.5-32B} を軽く微調整する。結果として得られたモデルは、はるかに大きな \texttt{Qwen2.5-Math-72B-Instruct} よりも優れており、いくつかの高品質な例が強力な推論能力を解き放つ可能性があることを示している。さらに,非推論モデルと人間アノテーションからのCoTデータの利用について検討し,迅速なエンジニアリング,マルチパス編集,構造的ガイダンスを付加した。しかし、どちらも推論モデルトレースのパフォーマンスと一致せず、専門家のCoTの潜伏品質は複製が難しいことを示唆している。本研究は, 蒸留に影響を及ぼす問題難易度, 多様性, 解答長などの推論データの鍵となる特性を解析する。課題は残るが、慎重にキュレートされた人間によるCoTは、たとえ少量であっても、ベースモデルにおける推論の振る舞いを活性化できるという楽観的である。我々は、改良段階にわたって人間によるデータセットを公開し、大規模な推論の監督をこれほど効果的にするためのさらなる調査を招待する。

関連論文リスト

Revisiting Chain-of-Thought Prompting: Zero-shot Can Be Stronger than Few-shot [20.63612244967553]
In-Context Learning(ICL)は、大規模言語モデル(LLM)の重要な創発的能力である近年の研究では、特に数学タスクにおける推論能力を高めるために、ICLを例に、Chain-of-Thought (CoT)を導入している。 Qwen2.5シリーズのような最近の強力なモデルでは、従来のCoTの例を付加してもZero-Shot CoTに比べて推論性能は向上しない。
論文参考訳（メタデータ） (2025-06-17T15:39:33Z)
Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting [0.0]
Chain-of-Thought(CoT)プロンプトは,大規模言語モデルに“ステップバイステップ”を推奨するテクニックである。 CoTプロンプトの有効性はタスクの種類やモデルによって大きく異なる。明確な推論能力を持つモデルの場合、CoTのプロンプトは答えの正確性に限界があるだけである。
論文参考訳（メタデータ） (2025-06-08T13:41:25Z)
A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文参考訳（メタデータ） (2025-05-29T18:55:05Z)
Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning? [57.17826305464394]
o1-likeモデルは、既存のLarge Language Models(LLM)の推論能力を改善するための長いチェーン・オブ・ソート(CoT)推論ステップを生成する。 DeltaBenchを導入し、異なる推論タスクのために異なるo1-likeモデルから生成された長いCoTを含む。 DeltaBenchに基づいて、生成した長いCoTのきめ細かい分析を行い、異なるo1モデルの有効性と効率を明らかにする。
論文参考訳（メタデータ） (2025-02-26T17:59:27Z)
Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [113.49074603075032]
近年の研究では、モデルをより長い思考の連鎖(CoTs)を通して考える時間を増やすことで、複雑な推論タスクにおいて大幅な改善が得られることが示されている。より長いCoTによるスケーリングが、特定のドメインにおけるLarge Language Model(LLM)の推論性能を損なうかどうかを考察する。
論文参考訳（メタデータ） (2025-02-25T10:48:05Z)
Unveiling Reasoning Thresholds in Language Models: Scaling, Fine-Tuning, and Interpretability through Attention Maps [3.8936716676293917]
本研究では,異なるモデルサイズと訓練データを持つデコーダのみの変換言語モデルのコンテキスト内学習能力について検討する。我々は,複数の質問応答におけるコモンセンス推論や帰納的推論といったタスクにおいて,推論性能が著しく向上する重要なパラメータしきい値(160億)を同定する。
論文参考訳（メタデータ） (2025-02-21T00:48:32Z)
LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組むまた,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2025-02-11T08:48:48Z)
When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
論文参考訳（メタデータ） (2025-02-11T05:28:59Z)
ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
論文参考訳（メタデータ） (2024-03-21T11:34:26Z)
Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
論文参考訳（メタデータ） (2023-07-17T01:08:39Z)
PaD: Program-aided Distillation Can Teach Small Models Reasoning Better than Chain-of-thought Fine-tuning [20.59775450213501]
本稿では, 蒸留データの誤りを抑えるための推論プログラムを導入したPaD(Program-Aided Distillation)を提案する。算術的推論,記号的推論,一般能力に基づいてPaDを評価する。
論文参考訳（メタデータ） (2023-05-23T10:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。