Fugu-MT 論文翻訳(概要): Mitigating Forgetting in Continual Learning with Selective Gradient Projection

論文の概要: Mitigating Forgetting in Continual Learning with Selective Gradient Projection

arxiv url: http://arxiv.org/abs/2603.26671v1
Date: Sun, 08 Feb 2026 10:24:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-06 02:36:13.055887
Title: Mitigating Forgetting in Continual Learning with Selective Gradient Projection
Title（参考訳）: 選択的勾配投影による連続学習における留意点の修正
Authors: Anika Singh, Aayush Dhaulakhandi, Varun Chopade, Likhith Malipati, David Martinez, Kevin Zhu,
Abstract要約: Selective Forgetting-Aware Optimization (SFAO) はコサイン類似性や層ごとのゲーティングによって勾配方向を制御する動的手法である。 SFAOは、効率的なモンテカルロ近似を備えた調整可能なメカニズムを使用して、更新を選択的にプロジェクション、受け入れ、破棄する。標準連続学習ベンチマークの実験では、SFAOはメモリコストを著しく低減し、90$%の削減を実現し、MNISTデータセットの忘れ込みを改善した。
参考スコア（独自算出の注目度）: 2.7158526904045046
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As neural networks are increasingly deployed in dynamic environments, they face the challenge of catastrophic forgetting, the tendency to overwrite previously learned knowledge when adapting to new tasks, resulting in severe performance degradation on earlier tasks. We propose Selective Forgetting-Aware Optimization (SFAO), a dynamic method that regulates gradient directions via cosine similarity and per-layer gating, enabling controlled forgetting while balancing plasticity and stability. SFAO selectively projects, accepts, or discards updates using a tunable mechanism with efficient Monte Carlo approximation. Experiments on standard continual learning benchmarks show that SFAO achieves competitive accuracy with markedly lower memory cost, a 90$\%$ reduction, and improved forgetting on MNIST datasets, making it suitable for resource-constrained scenarios.
Abstract（参考訳）: ニューラルネットワークが動的環境にますます展開されるにつれて、それらは破滅的な忘れ込み、新しいタスクに適応する際に学習した知識を上書きする傾向にある。 Selective Forgetting-Aware Optimization (SFAO) は,コサイン類似性や層ごとのゲーティングによる勾配方向の制御を行う動的手法であり,可塑性と安定性のバランスを保ちながら制御される。 SFAOは、効率的なモンテカルロ近似を備えた調整可能なメカニズムを使用して、更新を選択的にプロジェクション、受け入れ、破棄する。標準連続学習ベンチマークの実験では、SFAOはメモリコストを著しく低減し、90$\%の削減を実現し、MNISTデータセットの忘れ込みを改善し、リソース制約のあるシナリオに適している。

関連論文リスト

An Adaptive Differentially Private Federated Learning Framework with Bi-level Optimization [10.218291445871435]
フェデレーション学習は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。実際の展開では、デバイスの不均一性、非独立性、および同一に分散された(Non-IID)データは、しばしば非常に不安定で偏りのある勾配更新をもたらす。異種およびプライバシー制約のある環境下でモデル効率を明示的に目標とする適応型微分プライベートなフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2026-02-06T16:27:33Z)
Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
論文参考訳（メタデータ） (2026-02-01T12:56:10Z)
Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文参考訳（メタデータ） (2025-10-01T12:29:32Z)
LARGO: Low-Rank Regulated Gradient Projection for Robust Parameter Efficient Fine-Tuning [39.56217775141507]
Low-rAnk Regulated Gradient Projection (LARGO)アルゴリズムは、動的制約を低ランク適応法に統合する。 LARGOは、ドメイン内および配布外のシナリオで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-06-14T08:19:11Z)
AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
論文参考訳（メタデータ） (2025-04-02T16:31:39Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation [40.03897994619606]
連続的および漸進的TTAのためのレイヤワイド自動重み付けアルゴリズムを提案する。そこで我々は,指数関数的な min-maxスケーラを提案し,外圧を緩和しながら,特定の層をほぼ凍結させる。 CIFAR-10C, CIFAR-100C, ImageNet-Cを用いた実験により, 従来の連続TTA法および漸進TTA法よりも優れた性能を示した。
論文参考訳（メタデータ） (2023-11-10T03:54:40Z)
Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
論文参考訳（メタデータ） (2023-10-25T13:55:35Z)
Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文参考訳（メタデータ） (2022-06-20T15:25:08Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。