論文の概要: Effectiveness of Chain-of-Thought in Distilling Reasoning Capability from Large Language Models

• arxiv url: http://arxiv.org/abs/2511.05184v1
• Date: Fri, 07 Nov 2025 12:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.754819
• Title: Effectiveness of Chain-of-Thought in Distilling Reasoning Capability from Large Language Models
• Title（参考訳）: 大規模言語モデルによる蒸留反応能力の維持効果
• Authors: Cong-Thanh Do, Rama Doddipatla, Kate Knill,
• Abstract要約: Chain-of-Thought(CoT)プロンプトは、大規模言語モデル(LLM)の推論能力を改善するために広く使われている手法である。 最近では、CoT は知識蒸留 (KD) において、より大きな LLM からより小さな LLM への推論能力の伝達に活用されている。
• 参考スコア（独自算出の注目度）: 12.549532047104385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) prompting is a widely used method to improve the reasoning capability of Large Language Models (LLMs). More recently, CoT has been leveraged in Knowledge Distillation (KD) to transfer reasoning capability from a larger LLM to a smaller one. This paper examines the role of CoT in distilling the reasoning capability from larger LLMs to smaller LLMs using white-box KD, analysing its effectiveness in improving the performance of the distilled models for various natural language reasoning and understanding tasks. We conduct white-box KD experiments using LLMs from the Qwen and Llama2 families, employing CoT data from the CoT-Collection dataset. The distilled models are then evaluated on natural language reasoning and understanding tasks from the BIG-Bench-Hard (BBH) benchmark, which presents complex challenges for smaller LLMs. Experimental results demonstrate the role of CoT in improving white-box KD effectiveness, enabling the distilled models to achieve better average performance in natural language reasoning and understanding tasks from BBH.
• Abstract（参考訳）: CoT(Chain-of-Thought)プロンプトは、LLM(Large Language Models)の推論能力を改善するために広く使われている手法である。 最近では、CoT は知識蒸留 (KD) において、より大きな LLM からより小さな LLM への推論能力の伝達に活用されている。 本稿では, 各種自然言語推論および理解タスクにおいて, 蒸留モデルの性能向上におけるCoTの有効性を検証し, より大型のLCMからより小型のLCMへの推理能力の蒸留におけるCoTの役割について検討する。 我々は、QwenおよびLlama2ファミリーのLLMを用いて、CoT-CollectionデータセットのCoTデータを用いて、ホワイトボックスKD実験を行う。 蒸留されたモデルは、BIG-Bench-Hard(BBH)ベンチマークから自然言語の推論と理解タスクに基づいて評価される。 実験結果から, BBHからの自然言語推論および理解タスクにおいて, 蒸留モデルにより平均性能が向上し, ホワイトボックスKDの有効性向上にCoTが果たす役割が示された。

関連論文リスト

• Innate Reasoning is Not Enough: In-Context Learning Enhances Reasoning Large Language Models with Less Overthinking [39.48406368755411]
  大言語モデル(LLM)がRLLM(Reasoning Large Language Models)を導入 RLLMは、訓練から得られる自然的連鎖起因性(CoT)推論能力を示し、自然な疑問に繋がる:「CoTは、RLLMの推論能力を高めるために必要か?」。 本稿では,Zero-shot CoT と Few-shot CoT が数理推論タスクにおける RLLM に与える影響を初めて包括的に解析する。
  論文  参考訳（メタデータ） (2025-03-25T12:37:22Z)
• Unlocking General Long Chain-of-Thought Reasoning Capabilities of Large Language Models via Representation Engineering [59.34894142132706]
  既存の作業では、いくつかの例だけをチューニングすることで、長いCoT推論の能力を効率的に引き出すことができる。 このことは、LLMの一般的な能力であるCoT推論の長さを調査する動機となっている。 LLMの一般的な長大CoT推論能力を解き放つ新しい表現工学手法であるGLoREを提案する。
  論文  参考訳（メタデータ） (2025-03-14T11:30:37Z)
• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)
• Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
  我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。 具体的には、各推論ステップにおける「情報ゲイン」を定量化し、障害モードの識別を可能にする。 我々は,おもちゃの算術, GSM8K, PRM800kデータセットに関する広範な実験を通じて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-18T19:14:36Z)
• Mentor-KD: Making Small Language Models Better Multi-step Reasoners [15.159415340059388]
  我々は,LLMのマルチステップ推論能力をより小さいLMに効果的に蒸留するメンター-KDを提案する。 我々は、メンタ、中間サイズのタスク固有の微調整モデルを利用して、追加のCoTアノテーションを強化します。 我々は広範囲な実験を行い、メンターKDの有効性を様々なモデルや複雑な推論タスクで確認する。
  論文  参考訳（メタデータ） (2024-10-11T17:53:27Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• AS-ES Learning: Towards Efficient CoT Learning in Small Models [35.225382243612174]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)において重要な出現能力として機能する 本稿では,CoT内固有の情報を反復生成に活用したAS-ES学習手法を提案する。 実験により,データ拡張やモデル自体の変更を伴わずに,MWPやPET要約などのCoT集約タスクにおけるSeq2seqトレーニングを超越した手法が得られた。
  論文  参考訳（メタデータ） (2024-03-04T12:13:59Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。