論文の概要: Normative Loss Landscape Navigation: A Trajectory-Based Approach to Mitigating Forgetting in Incremental Learning

• arxiv url: http://arxiv.org/abs/2609.35926v1
• Date: Mon, 28 Sep 2026 13:34:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.894475
• Title: Normative Loss Landscape Navigation: A Trajectory-Based Approach to Mitigating Forgetting in Incremental Learning
• Title（参考訳）: ノーマティブ・ロスランドスケープナビゲーション:インクリメンタル・ラーニングにおける予測の修正への軌道に基づくアプローチ
• Abstract要約: 連続学習モデルは、非定常データ分布を逐次訓練する場合、破滅的な忘れ込みに悩まされる。 TMLN(Trajectory-Modulatory Landscape Navigation)は,連続的な学習を曲面損失景観に対する最適制御問題として定式化する規範的ナビゲーションポリシーである。
• 参考スコア（独自算出の注目度）: 3.924604299243548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning models suffer from catastrophic forgetting when trained sequentially on non-stationary data distributions. Previously, this has been addressed through weight regularization. While preconditioning gradients offer a promising alternative to mitigate forgetting, current approaches are myopic. Conversely, standard regularization methods apply rigid, scalar Euclidean penalties that entirely ignore the underlying Riemannian geometry of the parameter space. To overcome this gap, we propose TMLN (Trajectory-Modulatory Landscape Navigation), a normative navigation policy that formalizes continual learning as an optimal control problem over a curved loss landscape. TMLN utilizes a memory-efficient diagonal empirical Fisher Information Matrix (FIM) to define a localized Riemannian manifold. To compensate for the spatial limitations of the diagonal approximation, TMLN dynamically modulates a preconditioner using the normalized historical trajectory of the network's parameter values. By integrating this trajectory-based preconditioning directly into the gradient update, we actively shield historically critical parameter directions without relying on additive penalties. Empirical evaluations on class- and domain-incremental benchmarks demonstrate that our method significantly reduces the loss barrier between consecutive tasks.
• Abstract（参考訳）: 連続学習モデルは、非定常データ分布を逐次訓練する場合、破滅的な忘れ込みに悩まされる。 以前は、これは重量正規化によって対処されていた。 プレコンディショニングの勾配は、忘れを緩和する有望な代替手段を提供するが、現在のアプローチはミオピックである。 逆に、標準正則化法は、パラメータ空間の根底となるリーマン幾何学を完全に無視する厳密でスカラーなユークリッドの罰則を適用する。 このギャップを克服するために、曲線化された損失景観に対する最適制御問題として継続学習を形式化する規範的ナビゲーションポリシーであるTMLN(Trajectory-Modulatory Landscape Navigation)を提案する。 TMLNは、メモリ効率の良い対角的経験的フィッシャー情報行列(FIM)を用いて、局所リーマン多様体を定義する。 対角近似の空間的制限を補うため、TMLNはネットワークのパラメータ値の正規化履歴軌跡を用いてプリコンディショナーを動的に変調する。 この軌道に基づく事前条件を勾配更新に直接組み込むことで、付加的な罰則に頼ることなく、歴史的に重要なパラメータの方向を積極的に保護する。 クラスおよびドメインインクリメンタルベンチマークの実証評価により,本手法は連続タスク間の損失障壁を著しく低減することを示した。

関連論文リスト

• Higher-Order Geometric Updates for Levenberg-Marquardt Method via Riemann Normal Coordinates [1.7812378608633406]
  最小二乗最適化は回帰、物理インフォームドニューラルネットワーク、その他の機械学習タスクの中心である。 RNC-LMは、湾曲した谷とランク不足問題における収束性と堅牢性を改善する。 大規模な機械学習のポテンシャル-エネルギー-表面フィッティングタスクにおいて、標準のLMよりも34倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-07-08T16:39:03Z)
• Geometry-Anchored Transport Framework for Exemplar-Free Class-Incremental Learning [6.63181149575886]
  巨視的異方性ドリフトを緩和するGeometry-Anchored Transport Frameworkを提案する。 また、局所化多様体の分解を正規化するトポロジー・アウェア進化の目的も導入する。 CIFAR-100、TinyImageNet、ImageNet-100にわたる実験では、提案されたフレームワークが既存のポストホック代替品を一貫して改善していることが示されている。
  論文  参考訳（メタデータ） (2026-06-24T03:27:20Z)
• Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation [3.881211374324378]
  勾配ベースの更新による生成成果物の検出に基礎モデルを適用することで、本質的な表現が損なわれる。 本稿では,二分分類から外分布(OOD)異常測定問題への検出を緩和する勾配のない手法を提案する。
  論文  参考訳（メタデータ） (2026-06-03T13:04:23Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• Manifold constrained steepest descent [0.0]
  多様体上の最適化のための単一ループフレームワークであるemphManifold Constrained Steepest Descent (MCSD)を提案する。 また、Stiefel多様体上のMCSDのスペクトル特殊化であるemphSPELを導入する。
  論文  参考訳（メタデータ） (2026-01-29T10:08:37Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。