論文の概要: Fisher-Informed Recalibration for Feedback-Based On-Policy Self-Distillation of LLMs

• arxiv url: http://arxiv.org/abs/2609.34009v1
• Date: Sun, 27 Sep 2026 23:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:51:00.743109
• Title: Fisher-Informed Recalibration for Feedback-Based On-Policy Self-Distillation of LLMs
• Title（参考訳）: フィードバックに基づくLLMの自己蒸留のための水産インフォームリカレーション
• Abstract要約: FIRE (Fisher-Informed Recalibration) は、微調整中の政治上のアウトプットの正誤に対する監督の見直しを行う。 実験により, FIREは下流性能を維持しつつ, より安定な自己蒸留を提供することが示された。
• 参考スコア（独自算出の注目度）: 39.487754868441264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feedback-based on-policy self-distillation has emerged as a promising approach for enabling foundation models, more specifically Large Language Models (LLMs), to learn from their own outputs under external feedback, with a single model serving as both teacher and student. However, such methods can exhibit unstable optimization, conducive to performance collapse during training. To address this limitation, we propose FIRE (Fisher-Informed REcalibration), a dual-branch framework that recalibrates the supervision applied to correct and incorrect on-policy outputs during fine-tuning. For correct responses, FIRE replaces self-distillation with re-weighted on-policy SFT, while for incorrect ones FIRE identifies feedback components that disproportionately influence the teacher-induced update and recalibrates the feedback-conditioned target accordingly. Both branches are influenced by a token-level radius derived in part from a softmax Fisher trace. FIRE separates which direction feedback should move the model from how far the model should move in that direction, while leaving well-behaved feedback supervision unchanged. Our experiments demonstrate that FIRE provides substantially more stable self-distillation while maintaining strong downstream performance, particularly in settings where standard feedback-conditioned distillation becomes unstable.
• Abstract（参考訳）: フィードバックに基づくオンライン自己蒸留は、より具体的にはLarge Language Models (LLMs) という基礎モデルを可能にするための有望なアプローチとして現れ、外部からのフィードバックの下で独自のアウトプットから学習する。 しかし、このような手法は不安定な最適化を示し、訓練中に性能が低下する可能性がある。 この制限に対処するため、我々は、微調整中における政治上のアウトプットの正誤に対する監督の見直しを行う二重ブランチフレームワークであるFIRE(Fisher-Informed Recalibration)を提案する。 FIREは、教師が引き起こした更新に不均等に影響を及ぼすフィードバックコンポーネントを特定し、それに応じてフィードバック条件付きターゲットを再調整する。 両方の枝は、ソフトマックスフィッシャー跡から部分的に派生したトークンレベル半径の影響を受けている。 FIREは、どの方向からのフィードバックがモデルをその方向への移動方向から移動させるべきかを区別します。 実験により, FIREは, 高い下流性能を維持しつつ, 特に標準フィードバック条件の蒸留が不安定な環境では, より安定な自己蒸留を提供することが示された。

関連論文リスト

• ForceRFT: Refining VLA Actions through Force-Guided Residual Reinforcement Learning [10.418397316382782]
  ForceRFTは、フォース誘導強化学習フレームワークである。 人間の監督や自律的なタスクの結果からコンタクト依存の修正を学ぶ。 プラグ挿入、リングオンペグ組立、ホワイトボードワイピングの実験は、評価された実演訓練および残像ベースラインよりも高い自律的な成功率を示した。
  論文  参考訳（メタデータ） (2026-09-19T07:16:11Z)
• FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience [18.64380706071327]
  FlowBalanceは、完全応答上の正規化分布を学習する検証器による自己改善手法である。 オンラインの軌跡ごとに、同じポリシーの凍結されたトレーニングタイムビューは、特権付きコンテキストを使用してトークンレベルのログ確率ゲインを生成する。 分析では, 群内コントラスト保存, 最小値逆KL特性, 目標報酬の単調検証, 拒否応答に対する偽陽性自己誘導に対する正確な補正が確立された。
  論文  参考訳（メタデータ） (2026-09-03T00:47:11Z)
• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
  オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。 本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。 本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-08T05:46:32Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
  本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。 複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T20:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。