論文の概要: Disentangling Self-Distillation: Measuring and Modeling Acquisition and Retention

• arxiv url: http://arxiv.org/abs/2609.39494v1
• Date: Wed, 30 Sep 2026 10:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.592872
• Title: Disentangling Self-Distillation: Measuring and Modeling Acquisition and Retention
• Title（参考訳）: 自己蒸留を遠ざける:獲得と保持の測定とモデリング
• Abstract要約: 特権付きコンテキストによる自己蒸留は、モデルにトークンによる文脈自由コピートークンを教えることによって、デモから言語モデルを適応させる。 我々の分類学では、既存の手法は、(i)ロールアウト源(学生または教師)、(ii)教師結合(フリーズ)、(iii)KL方向(リバースまたはフォワード)の3つの絡み合った軸に沿って異なる。 我々は、古典的な教師付き微調整と比較して、全自己蒸留法を包含する統一フレームワークを定式化した。
• 参考スコア（独自算出の注目度）: 5.546419606009219
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-distillation with privileged context adapts a language model from demonstrations by letting the model, once conditioned on a reference response, teach its context-free copy token by token. Our taxonomy reveals existing methods differ along three entangled axes: (i) the rollout source (student or teacher), (ii) the teacher coupling (frozen, or an exponential moving average of the student at some coupling rate) and (iii) the KL direction (reverse or forward), yet these axes are usually studied in fixed combinations and have led to conflicting conclusions. We formalize a unifying framework to encompass all self-distillation methods vs classic supervised fine-tuning: we train every combination of the three axes, on Qwen2.5-7B and Ministral-3-3B across ordinary and contradictory tasks, totaling 1,200 adaptation runs, to systematically investigate the impact of the above axes. We propose a controlled model of the same objective to explain the resulting acquisition-retention trade-offs. We find that (i) the rollout source matters mostly where the task contradicts the pretrained behavior: there teacher rollouts raise acquisition well above what student rollouts achieve, with almost no change in retention; (ii) the teacher coupling changes acquisition most, on every task: acquisition rises with the coupling rate, then falls past a task-specific rate; (iii) switching the KL direction costs retention in one model but not the other so which axis to tune first depends on the model. The controlled model reproduces the three trends.
• Abstract（参考訳）: 特権付きコンテキストによる自己蒸留は、一度参照応答で条件付けられたモデルにトークンによる文脈自由コピートークンを教えることによって、デモから言語モデルを適応させる。 我々の分類学は、既存の方法が3つの絡み合った軸に沿って異なることを明らかにしている。 (i)ロールアウト源(学生又は教師) 二 教師の連結(ある結合率で生徒の指数的な移動平均)及び 3) KL 方向(逆方向または前方方向)であるが、これらの軸は通常固定結合で研究され、矛盾する結論を導いた。 これら3つの軸, Qwen2.5-7B と Ministral-3-3B のすべての組み合わせを, 通常のタスクと矛盾するタスクで訓練し, 1200の適応実行を実行し, 上記の軸の影響を体系的に調査する。 得られた買収-保留トレードオフを説明するため、同じ目的の制御モデルを提案する。 私たちはそれを見つける。 i) ロールアウト源は,課題が事前訓練された行動と矛盾する部分が多く,教員のロールアウトは,学生のロールアウトが達成するものよりもはるかに高く,維持のほとんどない。 (二)教師結合は、すべてのタスクにおいて、取得を最も多く変更する:取得は、結合率とともに増加し、タスク固有率を超越する。 3) KL方向の切り替えは1つのモデルで維持されるが、どの軸をチューニングするかはモデルによって異なる。 制御モデルは3つの傾向を再現する。

関連論文リスト

• Interactive-Policy Distillation with Bidirectional Propose-and-Verify [15.832994594431776]
  インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。 IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。 数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
  論文  参考訳（メタデータ） (2026-09-29T02:32:39Z)
• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• A Mechanistic Study of Tabular Foundation Models [12.26738662548555]
  タブラル基礎モデルは、様々な分類タスクと回帰タスクに精度で収束する。 これは、リーダーボードが答えられない疑問を引き起こす。 i)モデルが同一のコンテキスト内アルゴリズムを実行するかどうか,(ii)行,列,およびクラス置換不変性が生じるか,および(iii)モデルが推論されたメカニズムに対してエンジニアリングされた摂動下にあるか,の3つを特徴付ける。
  論文  参考訳（メタデータ） (2026-05-20T15:23:16Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 拡散モデルは、回帰を通じてスコア関数を訓練することだけを必要とするGANの非敵対的な代替品として登場した。 提案手法は, GANスタイルの模倣学習ベースラインと差別化なし模倣学習ベースラインの両方を, 連続制御問題に比較して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。