Fugu-MT 論文翻訳(概要): SingularClip: Preventing Spectral Collapse to Maintain Plasticity in Continual and Reinforcement Learning

論文の概要: SingularClip: Preventing Spectral Collapse to Maintain Plasticity in Continual and Reinforcement Learning

arxiv url: http://arxiv.org/abs/2608.18319v1
Date: Tue, 18 Aug 2026 21:12:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-20 20:13:55.208764
Title: SingularClip: Preventing Spectral Collapse to Maintain Plasticity in Continual and Reinforcement Learning
Title（参考訳）: SingularClip: 連続的・強化学習における可塑性維持のためのスペクトル崩壊防止
Abstract要約: トレーニング中の重量行列の特異値の異方性の増加による可塑性損失の発生源を同定した。 SingularClipは、全ての重み行列の特異値を周期的にクリップする手順である。本研究では,SingularClipが連続的教師付き学習と深層強化学習の両方において,様々なタスクのベースラインに対して強く機能することを示す。
参考スコア（独自算出の注目度）: 7.023073256176158
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural networks trained on nonstationary tasks frequently lose the ability to fit new targets, a phenomenon referred to as loss of plasticity. We identify a novel source of plasticity loss due to the growing anisotropy of weight matrices' singular values during training, and analyze this phenomenon both empirically and theoretically. To mitigate this issue, we introduce SingularClip, a procedure that periodically clips the singular values of all weight matrices. We show that SingularClip performs strongly against baselines across a range of tasks in both continual supervised learning and deep reinforcement learning.
Abstract（参考訳）: 非定常的なタスクで訓練されたニューラルネットワークは、しばしば、可塑性の喪失と呼ばれる新しいターゲットに適合する能力を失う。トレーニング中の重量行列の特異値の異方性の増加による可塑性損失の発生源を同定し,この現象を経験的および理論的に解析する。この問題を緩和するために、全ての重み行列の特異値を定期的にクリップするSingularClipを導入する。本研究では,SingularClipが連続的教師付き学習と深層強化学習の両方において,様々なタスクのベースラインに対して強く機能することを示す。

関連論文リスト

On the Plasticity Collapse in Continual Machine Unlearning [26.744674850970625]
マシンアンラーニングは、プライバシと規制要件に応じて、特定のデータの影響を選択的に除去することを可能にする。前者は単発のアンラーニングを主に研究していたが、現実のシステムは継続的なアンラーニングを許容しなければならない。連続的な未学習操作はパラメータ空間に幾何的制約を蓄積し、将来の更新を制限する飽和部分空間をもたらすことを示す。
論文参考訳（メタデータ） (2026-08-30T02:33:40Z)
Dispelling the Curse of Singularities in Neural Network Optimizations [22.05217959662069]
勾配フロベニウスノルムは重み行列の最高特異値によって有界であることを示し、訓練が進むにつれて、重みと表現特異点の相互に強化され、これらの境界を緩和し、鋭い損失爆発のリスクをエスカレートする。これに対応するために,軽量でフレキシブルで効果的な重み行列の特異スペクトル平滑化法であるParametric Singularity Smoothing (PSS)を提案する。
論文参考訳（メタデータ） (2026-02-01T16:09:06Z)
SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning [48.41770886055744]
Federated Learningは最近、現実世界のシナリオへのデプロイが増えている。いわゆる勾配反転攻撃の導入は、プライバシー保護特性に挑戦している。本稿では,ReLU活性化を伴う線形層の勾配の理論的解析に基づくSPEARを紹介する。新たな攻撃であるSPEAR++は、DPノイズに対する堅牢性やFedAvgアグリゲーションなど、SPEARの望ましい特性をすべて保持しています。
論文参考訳（メタデータ） (2025-10-28T09:06:19Z)
Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning [14.196969540084929]
深層ニューラルネットワークは、深層学習において可塑性の喪失に悩まされていることを示す。我々は、$tau$-trainabilityの概念を導入し、現在の可塑性保存アルゴリズムをこのフレームワークで統一できることを示します。連続的な教師付きおよび強化学習タスクの実験により、これら2つのレギュレータを組み合わせることで、可塑性を効果的に維持できることが確認された。
論文参考訳（メタデータ） (2025-09-26T13:28:53Z)
Parseval Regularization for Continual Reinforcement Learning [46.92116826808205]
可塑性の喪失、トレーニング可能性の喪失、プライマリーバイアスは、タスクのシーケンスでディープニューラルネットワークをトレーニングする際に生じる問題として特定されている。本稿では、Parseval正規化を用いて、有用な最適化特性を保ち、継続的な強化学習環境でのトレーニングを改善することを提案する。
論文参考訳（メタデータ） (2024-12-10T06:19:21Z)
SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文参考訳（メタデータ） (2024-07-23T20:34:23Z)
Learning Continually by Spectral Regularization [45.55508032009977]
連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
論文参考訳（メタデータ） (2024-06-10T21:34:43Z)
Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文参考訳（メタデータ） (2024-02-29T00:02:33Z)
On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
Maintaining Plasticity in Deep Continual Learning [12.27972591521307]
連続学習のためのデータセットをタスクのシーケンスとして利用して,可塑性損失の実証を行う。 ImageNetでは、バイナリ分類のパフォーマンスは、初期タスクで89%の精度から77%に低下した。新しいアルゴリズム -- 連続的なバックプロパゲーション -- は、従来のバックプロパゲーションを変更して、各例の後で、あまり使われていないユニットを再使用する。
論文参考訳（メタデータ） (2023-06-23T23:19:21Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。