Fugu-MT 論文翻訳(概要): Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control

論文の概要: Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control

arxiv url: http://arxiv.org/abs/2605.04468v1
Date: Wed, 06 May 2026 03:48:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-07 18:41:07.632357
Title: Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control
Title（参考訳）: 明示的分布制御によるLLM監督微細調整の安定化
Abstract要約: 訓練後の大規模言語モデル(LLM)は、しばしば破滅的な忘れ物に悩まされる。最近の証拠は、この現象は最適化中に過度な分布の漂流によって引き起こされることを示唆している。オフライン微調整中の分散更新を明示的に制御するフレームワークであるAnchored Learningを提案する。
参考スコア（独自算出の注目度）: 30.25101185177597
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Post-training large language models (LLMs) often suffers from catastrophic forgetting, where improvements on a target objective degrade previously acquired capabilities. Recent evidence suggests that this phenomenon is primarily driven by excessive distributional drift during optimization. Motivated by this perspective, we propose Anchored Learning, a simple framework that explicitly controls distributional updates during offline fine-tuning via a dynamically evolving moving anchor. Instead of matching a fixed reference distribution, the anchor interpolates between the current model and a frozen reference to construct an intermediate target that the model distills toward, transforming global fine-tuning into a sequence of local trust-region updates in distribution space. Theoretically, we prove this anchor-based update admits a linear KL-divergence upper bound per iteration, ensuring a stable transition between model distributions. Extensive experiments on iGSM, MedCalc, and IFEval show that Anchored Learning consistently lies on the Pareto frontier of gain-stability trade-offs, achieving near-optimal performance improvements while substantially reducing degradation compared to strong baselines. For example, while standard SFT suffers from over 53% performance degradation on iGSM and MedCalc, Anchored Learning slashes this drop to under 5% while maintaining near-optimal gains (e.g., 75.2% on iGSM).
Abstract（参考訳）: 訓練後の大規模言語モデル(LLM)は、しばしば破滅的な忘れ込みに悩まされる。最近の証拠は、この現象が最適化中の過度な分布の漂流によって主に引き起こされていることを示唆している。この観点で動機づけたAnchored Learningは、動的に変化する移動アンカーを介してオフライン微調整中の分散更新を明示的に制御するシンプルなフレームワークである。固定された参照分布と一致する代わりに、アンカーは現在のモデルと凍結した参照を補間し、モデルが蒸留する中間ターゲットを構築し、グローバルな微調整を分布空間における局所的な信頼区間更新のシーケンスに変換する。理論的には、このアンカーベースの更新は反復毎の線形KL分割上限を許容し、モデル分布間の安定な遷移を保証する。 iGSM、MedCalc、IFEvalの大規模な実験により、Anchored Learningはゲイン安定トレードオフのParetoフロンティアに一貫して存在しており、強いベースラインに比べて劣化を著しく低減しつつ、ほぼ最適性能の改善を実現している。例えば、標準SFTは、iGSMとMedCalcで53%以上のパフォーマンス低下に悩まされているが、Anchored Learningは、この低下を5%以下に削減し、最適に近いゲインを維持している(例えば、iGSMでは75.2%)。

関連論文リスト

OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
論文参考訳（メタデータ） (2026-05-19T04:13:27Z)
L-Drive: Beyond a Single Mapping-Latent Context Drives Time Series Forecasting [6.726418089422619]
変更を意識した予測フレームワークであるL-Driveを提案する。よりタイムリーな変更手順を提供し、変更セグメントへの適応を改善する。実験はL-Driveの有効性を検証し、予測精度と計算効率のトレードオフをより良く示す。
論文参考訳（メタデータ） (2026-05-18T01:25:59Z)
Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2026-05-12T09:39:06Z)
Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
論文参考訳（メタデータ） (2026-05-11T17:59:25Z)
AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
論文参考訳（メタデータ） (2026-04-20T04:25:24Z)
GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
論文参考訳（メタデータ） (2026-04-08T17:14:21Z)
GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
論文参考訳（メタデータ） (2025-10-25T14:51:17Z)
STABLE: Gated Continual Learning for Large Language Models [0.0]
STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
論文参考訳（メタデータ） (2025-10-17T16:14:05Z)
Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
論文参考訳（メタデータ） (2025-10-17T07:43:51Z)
WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
論文参考訳（メタデータ） (2025-07-23T16:02:06Z)
Global Variational Inference Enhanced Robust Domain Adaptation [7.414646586981638]
本稿では,構造を意識したクロスドメインアライメントを実現するために,変分推論による連続的,クラス条件のグローバルな事前学習フレームワークを提案する。 GVI-DAは、潜在特徴再構成によるドメインギャップを最小化し、ランダムサンプリングによるグローバルコードブック学習を用いて後部崩壊を緩和する。低信頼の擬似ラベルを捨て、信頼性の高いターゲットドメインサンプルを生成することにより、ロバスト性をさらに向上する。
論文参考訳（メタデータ） (2025-07-04T04:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。