論文の概要: Negative Self-Distillation: Learning to Reason by Avoiding Flaws
- arxiv url: http://arxiv.org/abs/2609.11699v1
- Date: Thu, 10 Sep 2026 15:24:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.417453
- Title: Negative Self-Distillation: Learning to Reason by Avoiding Flaws
- Title（参考訳）: 負の自己蒸留:欠陥を回避して推論を学ぶ
- Abstract要約: On-Policy Self-Distillation (OPSD) は、大規模言語モデル(LLM)の自己改善のための一般的なパラダイムとして登場した。
OPSDは学生に、特権情報に規定されたトレースを人工的に信頼できる推論を模倣するよう強制する。
特権的解法を模倣するのではなく、欠点のある推論から逸脱することでLCMを最適化するために負の自己蒸留(NSD)を導入する。
- 参考スコア（独自算出の注目度）: 17.066626113937463
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: On-Policy Self-Distillation (OPSD) has emerged as a popular paradigm for large language model (LLM) self-improvement, allowing models to act as their own teachers by leveraging privileged information such as ground-truth solutions. However, recent findings indicate that OPSD can severely degrade the performance of LLMs on complex reasoning tasks: By forcing the student to imitate an artificially confident reasoning trace conditioned on privileged information, OPSD inadvertently suppresses expressions of uncertainty and penalizes the exploratory, self-corrective behaviors required to solve challenging problems. To address this, we introduce Negative Self-Distillation (NSD), a new framework that optimizes LLMs by diverging from flawed reasoning rather than imitating privileged solutions. Instead of relying on ground-truth answers or external supervision, NSD uses the model itself to generate a question-specific negative condition (eg, acting as a ``careless reasoner'') and pushes the student's distribution away from this self-generated negative teacher. Naively applying unlearning objectives to achieve this divergence is problematic, as flawed reasoning tokens are confounded with basic linguistic tokens; indiscriminately penalizing both risks catastrophically degrading the model's foundational language capabilities. We resolve this by designing a dynamic gating mechanism that automatically identifies and isolates reasoning-critical tokens, ensuring gradient updates target only behavioral flaws while preserving the model's linguistic priors. Empirically, NSD consistently outperforms OPSD and other label-free, self-bootstrapping reinforcement learning (RL) baselines.
- Abstract（参考訳）: On-Policy Self-Distillation (OPSD) は、大規模言語モデル(LLM)の自己改善のための一般的なパラダイムとして登場し、グランド・トゥルース・ソリューションのような特権情報を活用することで、モデルが独自の教師として機能することを可能にしている。
しかし、最近の知見は、OPSDは複雑な推論タスクにおいてLLMの性能を著しく低下させることができることを示唆している: 特権情報に条件づけられた痕跡を人工的に確実に推論することを強制することにより、OPSDは不確実性の表現を不注意に抑制し、難題を解決するのに必要な探索的で自己修正的な振る舞いを罰する。
これを解決するために、特権的ソリューションを模倣するのではなく、欠陥推論から分岐することによってLCMを最適化する新しいフレームワークであるNegative Self-Distillation (NSD)を導入する。
NSDは、根本的な答えや外部の監督に頼るのではなく、モデル自体を使って質問固有のネガティブな条件(例えば「不注意な理性者」)を生成し、生徒の分布を自己生成のネガティブな教師から遠ざける。
欠陥のある推論トークンには基本的な言語トークンが組み込まれており、どちらのリスクも無差別に罰せられ、モデルの基本言語能力は壊滅的に低下する。
我々は、動的ゲーティング機構を設計し、推論クリティカルなトークンを自動的に識別し、分離し、モデルの言語的先行性を保ちながら、行動上の欠陥のみを目標とする勾配更新を保証する。
経験的に、NSDはOPSDや他のラベルのない自己ブートストラップ強化学習(RL)のベースラインを一貫して上回っている。
関連論文リスト
- dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。
MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
論文 参考訳（メタデータ） (2026-02-19T05:20:31Z) - Explainable LLM Unlearning Through Reasoning [23.128471655470793]
これらの問題は、モデルがいつ、どのように解放されるべきかについて、明確なガイダンスがないことに起因する、と私たちは主張する。
本研究では,学習対象の特定範囲と学習後応答を満足する新たな未学習対象,推論に基づく未学習対象を提案する。
一般的な能力を維持しながら、より信頼性の高いアンラーニングを実現していることがわかった。
論文 参考訳（メタデータ） (2026-02-08T06:33:07Z) - ALIVE: Awakening LLM Reasoning via Adversarial Learning and Instructive Verbal Evaluation [4.265094703231012]
ハンズフリーアライメントフレームワークである textbfALIVE (emphAdrial Learning with Instructive Verbal Evaluation) を導入する。
対人学習とインストラクティブな言語フィードバックを結合することにより、ALIVEはモデルが生のコーパスから直接評価基準を内在化できるようにする。
同一のデータと計算により、ALIVEはクロスドメインの一般化を著しく改善し、自己補正率も向上した。
論文 参考訳（メタデータ） (2026-02-05T09:20:23Z) - Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。
アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。
モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
論文 参考訳（メタデータ） (2025-11-20T13:10:52Z) - Stabilizing Reinforcement Learning for Honesty Alignment in Language Models on Deductive Reasoning [27.42733470720954]
本研究では,地上の真実軌道をロールアウトに注入し,早期の訓練崩壊を防ぐ強化学習手法を提案する。
その結果,本手法は学習を安定させ,全体の推論性能を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2025-11-12T11:34:19Z) - Can Large Reasoning Models Self-Train? [51.0277533541394]
多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。
この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。
しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
論文 参考訳（メタデータ） (2025-05-27T17:16:00Z) - ReVISE: Learning to Refine at Test-Time via Intrinsic Self-Verification [53.80183105328448]
Refine via Intrinsic Self-Verification (ReVISE)は、LLMが自己検証を通じてアウトプットを自己修正できる効率的なフレームワークである。
様々な推論タスクに関する実験により、ReVISEは効率的な自己補正を実現し、推論性能を大幅に向上することを示した。
論文 参考訳（メタデータ） (2025-02-20T13:50:02Z) - Deception in LLMs: Self-Preservation and Autonomous Goals in Large Language Models [0.0]
大規模言語モデルの最近の進歩には、計画と推論能力が組み込まれている。
これにより、数学的および論理的タスクにおける誤りを低減し、精度を向上した。
本研究では,OpenAIのo1に似た推論トークンを出力するモデルであるDeepSeek R1について検討した。
論文 参考訳（メタデータ） (2025-01-27T21:26:37Z) - Self-Correction is More than Refinement: A Learning Framework for Visual and Language Reasoning Tasks [43.96835245022083]
モデルにアウトプットを洗練させる自己補正は、この問題に対する有望な解決策である。
本研究では,視覚言語モデルの推論および微調整段階における自己補正能力について検討した。
論文 参考訳（メタデータ） (2024-10-05T06:28:54Z) - Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T19:18:53Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳（メタデータ） (2023-11-14T07:13:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。