論文の概要: Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models

• arxiv url: http://arxiv.org/abs/2607.14552v1
• Date: Thu, 16 Jul 2026 04:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.983593
• Title: Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける難解な検証型蒸留の解答型連鎖
• Abstract要約: 一般的な修正は、生成元に金の答えを示し、その答えに達する連鎖を書くように要求する。 この2番目のステップでは、トレーニングデータを正確性フィルタリングがキャッチできない方法で分解する。
• 参考スコア（独自算出の注目度）: 21.049419375153914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A standard recipe for distilling the reasoning ability of large language models (LLMs) is to sample chains of thought from the model, keep those that reach the correct final answer, and fine-tune on the survivors. When sampling fails, a common fix shows the generator the gold answer and asks it to write a chain that reaches that answer. We show that this second step degrades the training data in a way that correctness filtering cannot catch. We run a controlled experiment that fixes the generator, the problem set, and the correctness filter, and varies only whether the chain is generated under answer-conditioning, the gold answer shown with a request to reach it. Training a strong instruction-tuned reasoning model on its own answer-conditioned chains sharply lowers its verifiable-reasoning accuracy. The loss grows with difficulty, reaching as much as about 27 points on the hardest competition problems. The mechanism is legible in the chains themselves, which rationalize backward from the shown answer instead of deriving it, with the early final-answer statement as the measurable symptom. The harm is a property of the data rather than the generator, read off unlabeled generations before any fine-tuning, ordering the penalty across eight thinking models from four families, and transferring across teacher families. A prompt ablation localizes it to the rationalize-toward instruction rather than the answer's bare visibility. The practical takeaway is to generate answer-blind, because no correctness filter can see this damage in the data.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力を蒸留するための標準的なレシピは、モデルから思考の連鎖をサンプリングし、正しい最終回答に達するものを保持し、生存者に微調整を行うことである。 サンプリングが失敗すると、一般的な修正が生成元に金の答えを示し、その答えに達する連鎖を書くように要求する。 この2番目のステップでは、トレーニングデータを正確性フィルタリングがキャッチできない方法で分解する。 我々は,生成器,問題セット,正当性フィルタの修正を行う制御実験を行い,応答条件下で連鎖が生成されるか,それに到達するよう要求された金の応答にのみ依存する。 解答条件付き連鎖上での強い命令調整推論モデルの訓練は、検証可能な推論精度を著しく低下させる。 敗戦は難航し、最強の競争問題で27ポイントを突破した。 このメカニズムは鎖自体において正当であり、その答えを導出するのではなく、その答えから逆向きに合理化し、初期最終回答文は測定可能な症状である。 害は、ジェネレータではなくデータの特性であり、微調整の前にラベルのない世代を読み取り、4つのファミリーから8つの思考モデルにペナルティを命令し、教師の家族間で転送する。 プロンプトアブレーションは、答えの裸の可視性ではなく、合理的な指示にローカライズする。 実際の課題は、正当性フィルタがデータにこの損傷を見ることができないため、答えの盲点を生成することである。

関連論文リスト

• Consensus as Privileged Context for Label-Free Self-Distillation [12.523025093871304]
  CANON(Consensus-Anchored Self-distillation)は、コンセンサスを密集したトークンレベルの監視に転換するラベルフリーのトレーニング手法である。 CanONはpass@1を最大12ポイント改善し、ラベルなしの強化学習を計算の7分の1で6ポイント上回る。
  論文  参考訳（メタデータ） (2026-07-15T09:39:32Z)
• Self-Study Reconsidered: The Hidden Fragility of Learning from Self-Generated QA [40.94400211806987]
  言語モデルは、QA(Synthetic Question Aswer)の監督によって、ますます教えられている。 この生成ステップが中立的な前処理ではないことを示す。 このような障害モードは,QA生成時の選択から発生し,トレーニングループを変更することなく低減できることを示す。
  論文  参考訳（メタデータ） (2026-06-30T17:35:14Z)
• CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
  CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。 Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。 自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
  論文  参考訳（メタデータ） (2026-03-18T14:38:55Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• Chain-of-Probe: Examining the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step [133.60124577507727]
  思考の連鎖は、素数大言語モデルに彼らの予測の合理化を口頭で示すよう促す。 オーダーオブマグニチュードの小さなモデルでも、チェーンオブ思想のプロンプトの恩恵を受けられることを示す。 そこで我々は,より大規模な教師モデルから抽出した合理化に基づいて,より小さな学生モデルを訓練する方法であるChain-of-Thought Distillation (SCoTD)を紹介した。
  論文  参考訳（メタデータ） (2023-06-24T20:15:07Z)
• Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning [26.715242799194908]
  質問応答システムは、体系的な推論の連鎖を通して、その答えが自身の内的信念によってどのように示唆されるかを示す。 我々のアプローチは、トレーニングされた後方チェーンモデルで、回答仮説を含む一連の前提を生成することができ、モデル自体がそれらの前提を信じることを確認する検証器を組み合わせることです。 私たちの知る限りでは、これは多段階連鎖を生成できる最初のシステムであり、それは忠実であり(その答えは推論から従う)、真実である(連鎖はシステムの内部の信念を反映している)。
  論文  参考訳（メタデータ） (2022-10-21T19:51:56Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。