論文の概要: Entropic Control for Homeostatic Optimization: Pre-empting Catastrophic Forgetting via Dynamic Feedback
- arxiv url: http://arxiv.org/abs/2610.34182v1
- Date: Sun, 25 Oct 2026 09:34:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.553015
- Title: Entropic Control for Homeostatic Optimization: Pre-empting Catastrophic Forgetting via Dynamic Feedback
- Title（参考訳）: ホメオスタット最適化のためのエントロピック制御:動的フィードバックによる破砕前処理
- Abstract要約: 本稿では,閉ループ制御フレームワークであるEntropic Control for Homeostatic Optimization (ECHO)を提案する。
KLの発散を分解することにより、出力エントロピーをKL変量の主要な可観測成分として同定する。
ECHOは、リアルタイムに忘れるリスクを監視するための計算効率のよいオンラインプロキシである。
- 参考スコア（独自算出の注目度）: 13.476862455266888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised Fine-Tuning (SFT) of LLMs suffers from catastrophic forgetting, and prevailing mitigation strategies struggle to reconcile the plasticity-stability dilemma. To address this, we propose Entropic Control for Homeostatic Optimization (ECHO), a closed-loop control framework. By decomposing the KL divergence, we identify output entropy as a dominant observable component of KL variation. This enables us to leverage entropy as a computationally efficient online proxy to monitor forgetting risks in real-time, bypassing expensive reference-model inference. Consequently, ECHO employs an elastic controller that dynamically modulates the gradient weight of replay data via a proportional control law, using deviations from the pre-trained entropic equilibrium as an error signal. Empirical evaluations across 0.6B to 9B parameter architectures demonstrate that ECHO lies on, and in several comparisons extends, the observed plasticity-stability frontier and maintains high operational robustness against varying data mixing ratios.
- Abstract（参考訳）: LLMの監視された微調整(SFT)は破滅的な忘れ込みに悩まされ、緩和戦略は可塑性安定性ジレンマの調整に苦慮する。
そこで我々は,閉ループ制御フレームワークであるEntropic Control for Homeostatic Optimization (ECHO)を提案する。
KLの発散を分解することにより、出力エントロピーをKL変量の主要な可観測成分として同定する。
これにより、エントロピーを計算効率のよいオンラインプロキシとして活用し、高価な参照モデル推論を回避し、リアルタイムに忘れられるリスクを監視することができる。
これにより、ECHOは、予め訓練されたエントロピック平衡からの偏差をエラー信号として使用し、比例制御法則によりリプレイデータの勾配重を動的に変調する弾性制御装置を用いる。
0.6B から 9B のパラメータアーキテクチャにおける実験的な評価では、ECHO は存在しており、いくつかの比較では、観測された可塑性-安定性フロンティアは、様々なデータ混合比に対して高い操作堅牢性を維持している。
関連論文リスト
- Statistical Learning of Contractive Dynamical Representations for Composite Adaptive Control [6.187666864968302]
動的に結合された外乱下での複合適応追従制御のための表現学習フレームワークを提案する。
このフレームワークは、古典的外乱調節制御(DAC)と最近の最終層適応外乱除去法を結びつけている。
論文 参考訳（メタデータ） (2026-09-28T17:59:07Z) - IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - Trajectory-Regularized Stochastic Optimal Control via KL Divergence [8.729531978655737]
トラジェクトリ規則化最適制御(TRSOC)を導入し、標準最適制御(SOC)を強化した。
対応するハミルトン・ヤコビ・ベルマン方程式を導出し、最適ポリシーを特徴づける。
実験により、正規化パラメータは性能駆動型と参照保存型の間のトレードオフを誘導することが示された。
論文 参考訳（メタデータ） (2026-07-24T11:15:27Z) - Residual-Conservative Model Predictive Path Integral Control [0.0]
本稿では, 予測実行残差を用いて, 安全保守をオンラインで調整するサンプリングベースMPCフレームワークを提案する。
RC-MPPIは、残留依存性制約強化、適応型安全コスト整形、残留適応サンプリング変調の3つの結合メカニズムを組み合わせたものである。
論文 参考訳（メタデータ） (2026-07-08T03:23:39Z) - Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。
本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-05-12T08:47:05Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - On the Plasticity and Stability for Post-Training Large Language Models [54.757672540381236]
塑性と安定性勾配の矛盾として根本原因を同定する。
本稿では,確率的衝突解決法(PCR)を提案する。
PCRはトレーニングの軌道を著しく滑らかにし、様々な推論タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-06T07:31:26Z) - Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference [1.7523718031184992]
この障害の基本的なメカニズムは、 textbf Premature Mode Collapseである。
提案手法は,適応型スケジューリングアルゴリズムであるtextbfEfficient Piecewise Hybrid Adaptive Stability Control (EPH-ASC) で,推論過程の安定性をモニタする。
論文 参考訳（メタデータ） (2026-01-30T14:47:18Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳（メタデータ） (2020-11-14T01:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。