論文の概要: One-Step Curvature Probes Miss the Fitting Operator: Retained Capacity and Terminal Null-Space Correction for Continual Learning

• arxiv url: http://arxiv.org/abs/2610.03952v1
• Date: Fri, 02 Oct 2026 19:10:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 21:25:55.456649
• Title: One-Step Curvature Probes Miss the Fitting Operator: Retained Capacity and Terminal Null-Space Correction for Continual Learning
• Title（参考訳）: 固定演算子を欠いたワンステップ曲率探傷:連続学習における容量と終端核空間補正
• Abstract要約: 1ステップの曲率プローブが初期方向を評価するのに対し、連続学習者は同等の新しいタスク適合度に達した後に判断される。 端末の旧タスク二次比は1/[c_P(r)G_rm end(P,r)]$と分解され、$G_rm end$はエンドポイント方向に沿って曲率を比較する。 終端二次性はまた、曲率最適嵌合床とアルゴリズム依存のヌル空間過剰とを分離し、終端ヌル空間補正を動機とする。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A one-step curvature probe evaluates an initial direction, whereas continual learners are judged after reaching comparable new-task fit. In an overparameterized linearization, projected gradient descent converges to $Δ_P=PJ^\top(JPJ^\top)^{-1}r$, and its squared-displacement inflation is exactly the reciprocal of the retained fitting capacity $c_P(r)$. More generally, the terminal old-task quadratic ratio factorizes as $1/[c_P(r)G_{\rm end}(P,r)]$, where $G_{\rm end}$ compares curvature along endpoint directions. In the rank-one case, $G_{\rm end}$ equals the one-step probe gain; for multiple outputs, the two gains can differ. The terminal quadratic also separates into a curvature-optimal fitting floor and an algorithm-dependent null-space excess, motivating terminal null-space correction, which preserves linearized new-task outputs on its Jacobian batch. Controlled checks validate the local quadratic and show that projection can greatly reduce matched-norm curvature while barely changing terminal forgetting. Across common-threshold configurations, projection yields the larger signed old-task loss change in 73/99 matched pairs, retained fitting capacity falls with rank, and fixed-rank comparisons separate terminal forgetting even when probe gain is approximately matched. On Permuted MNIST and Split CIFAR-100, terminal correction decreases signed old-task loss in 166/180 method--dataset--seed pairs under the all-seed intention-to-correct analysis; because acceptance and outcome reporting use the same held-out split, this result is descriptive and test-conditioned. Overall, terminal cost depends jointly on retained fitting capacity, endpoint-direction curvature, and the null-space component selected by optimization.
• Abstract（参考訳）: 1ステップの曲率プローブが初期方向を評価するのに対し、連続学習者は同等の新しいタスク適合度に達した後に判断される。 過パラメータ化線形化では、射影勾配降下は$Δ_P=PJ^\top(JPJ^\top)^{-1}r$に収束する。 より一般に、終端の古タスク二次比は1/[c_P(r)G_{\rm end}(P,r)]$と分解され、$G_{\rm end}$は終点方向の曲率を比較する。 ランク1の場合、$G_{\rm end}$は1ステップのプローブゲインに等しい。 終端二次性はまた、曲率最適嵌合床とアルゴリズム依存のヌル空間過剰、動機付けられた終端ヌル空間補正に分離され、ヤコビアンバッチ上で線形化された新しいタスク出力を保持する。 制御されたチェックは局所的な二次性を検証し、プロジェクションは終端をほとんど変更することなく、一致したノーム曲率を大幅に低減できることを示す。 共通閾値構成全体にわたって、プロジェクションは73/99の整合対における符号付き旧タスク損失変化を大きくし、保持された嵌合容量はランクに低下し、プローブゲインがほぼ整合している場合でも、固定ランク比較は別の端末を忘れる。 Permuted MNIST と Split CIFAR-100 において、終端補正は、全列の意図-正当性解析の下で、166/180 のメソッド-データセット-シードペアにおける符号付き旧タスク損失を減少させる。 全体として、端末のコストは、保持された嵌合容量、エンドポイント方向の曲率、最適化によって選択されたヌル空間成分に大きく依存する。

関連論文リスト

• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Sharp Oracle-Regret Tradeoffs for Projection-Free Online Convex Optimization [55.29259818039367]
  我々は, オンライン凸最適化において, 実現可能な集合へのアクセスが正確な線形最適化オラクルに制限された場合に達成可能な後悔を特徴づける。 コンベックス$G$-Lipschitzの損失に対して、直径は最大$D$、合計$Q$オークルコールは$Q$、厳格な制限はラウンド当たり$B$である。
  論文  参考訳（メタデータ） (2026-09-23T22:25:52Z)
• A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds [0.0]
  更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。 次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。 これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
  論文  参考訳（メタデータ） (2026-09-16T15:03:46Z)
• How Wrong Can a Good Predictor Be? Diverging Updates with Vanishing Predictive KL [8.929322780616545]
  更新写像の間の非有界なギャップは、定常対称ガウス HMM において、固定有限$Kge2$ に対して消滅する予測的 KL と共存することができる。 この構成は$K$で固定されており、圧縮が無害である場合や内部のギャップがタスク損失を発生させる必要がある場合の普遍的な基準を提供していない。
  論文  参考訳（メタデータ） (2026-09-10T06:22:53Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• PAIR: Pairwise-Aware Inclusion Reweighting for Adaptive Rollout Allocation in RLVR [0.0]
  検証可能な報酬を伴う強化学習は、長い推論軌道の計算生成グループの大部分に費やしている。 最近のアロケータは、難易度やユーティリティのポイントワイズな概念に従って、プロンプト、ロールアウト、トークンに予算を割り当てることで、このコストを削減している。 グループ相対スコア勾配は、独立点寄与の総和ではなく、ロールアウト対に対する2次統計値である。
  論文  参考訳（メタデータ） (2026-08-11T19:24:59Z)
• Tail allocation for conformal prediction intervals [1.0163716169047106]
  本研究では,報告された予測セットが単一区間でなければならない場合の回帰の分割等式予測について,目標限界範囲が1-$である場合,名目上の誤発見レベルが$$である場合について検討する。 この報告制約の下では、自然条件対象は、等尾区間やおそらく非連結な高確率集合ではなく、条件質量が少なくとも1-$の最も短い区間である。 このシングルインターバルをローテールアロケーションによってパラメータ化し、名目上の誤発見が2つのエンドポイント間でどのように分割されるかを決定する。
  論文  参考訳（メタデータ） (2026-04-28T04:14:27Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。