Fugu-MT 論文翻訳(概要): A Simple Baseline for Stable and Plastic Neural Networks

論文の概要: A Simple Baseline for Stable and Plastic Neural Networks

arxiv url: http://arxiv.org/abs/2507.10637v2
Date: Fri, 18 Jul 2025 08:54:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-21 12:36:33.500647
Title: A Simple Baseline for Stable and Plastic Neural Networks
Title（参考訳）: 安定・塑性ニューラルネットワークのための簡易ベースライン
Authors: Étienne Künzel, Achref Jaziri, Visvanathan Ramesh,
Abstract要約: コンピュータビジョンにおける継続的な学習は、モデルが以前の知識を忘れずに連続的なタスクストリームに適応することを要求する。 RDBPは2つの相補的なメカニズムを結合する低オーバーヘッドベースラインである。ReLUDownは、ニューロンの休眠を予防しながら特徴感度を維持する軽量なアクティベーション修正であり、破壊的な更新から早期の層を段階的に保護する生物学的にインスパイアされた勾配スケジューリングスキームであるバックプロパゲーションの緩和である。
参考スコア（独自算出の注目度）: 3.2635082758250693
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning in computer vision requires that models adapt to a continuous stream of tasks without forgetting prior knowledge, yet existing approaches often tip the balance heavily toward either plasticity or stability. We introduce RDBP, a simple, low-overhead baseline that unites two complementary mechanisms: ReLUDown, a lightweight activation modification that preserves feature sensitivity while preventing neuron dormancy, and Decreasing Backpropagation, a biologically inspired gradient-scheduling scheme that progressively shields early layers from catastrophic updates. Evaluated on the Continual ImageNet benchmark, RDBP matches or exceeds the plasticity and stability of state-of-the-art methods while reducing computational cost. RDBP thus provides both a practical solution for real-world continual learning and a clear benchmark against which future continual learning strategies can be measured.
Abstract（参考訳）: コンピュータビジョンにおける継続的な学習は、モデルが以前の知識を忘れずに連続的なタスクストリームに適応することを要求するが、既存のアプローチは、しばしば可塑性または安定性のどちらかにバランスを向ける。 RDBPは2つの相補的なメカニズムを結合する単純な低オーバーヘッドベースラインである。ReLUDownは、ニューロンの休眠を予防しながら特徴感度を維持する軽量なアクティベーション修正であり、破壊的な更新から早期の層を段階的に保護する生物学的にインスパイアされた勾配スケジューリングスキームであるバックプロパゲーションの緩和である。 RDBPは、Continuous ImageNetベンチマークで評価され、計算コストを削減しつつ、最先端の手法の可塑性と安定性を一致または超過する。 RDBPは、現実の連続学習のための実用的なソリューションと、将来の連続学習戦略を測定するための明確なベンチマークを提供する。

関連論文リスト

Mitigating Plasticity Loss in Continual Reinforcement Learning by Reducing Churn [22.354498355750465]
深部連続RLにおけるチャーンレンズの可塑性損失について検討した。 1) 可塑性の喪失は, ニューラルタンジェントカーネル (NTK) マトリックスの段階的ランク低下によるチャーンの悪化を伴うことを示した。本稿では,C-CHAIN(Continuous Churn Approximated Reduction)を導入し,学習性能の向上を実証する。
論文参考訳（メタデータ） (2025-05-31T14:58:22Z)
Preserving Plasticity in Continual Learning with Adaptive Linearity Injection [10.641213440191551]
ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
論文参考訳（メタデータ） (2025-05-14T15:36:51Z)
Memory Is Not the Bottleneck: Cost-Efficient Continual Learning via Weight Space Consolidation [55.77835198580209]
連続学習(CL)は、メモリが主要なボトルネックであると仮定して、メモリ使用量の最小化を伝統的に強調してきた。本稿では, CLを十分なメモリでより現実的な環境下で再検討し, システムが過去のデータの代表的部分を保持できることを示す。この体制下では、忘れることを減らすことによって安定性が向上するが、モデルが以前のタスクに偏り、新しいタスクに適応するのに苦労すると、可塑性は低下する。
論文参考訳（メタデータ） (2025-02-11T05:40:52Z)
Oja's plasticity rule overcomes several challenges of training neural networks under biological constraints [0.0]
我々は,Ojaの塑性規則を誤り駆動学習に取り入れることで,フィードフォワードおよびリカレントアーキテクチャにおける安定かつ効率的な学習が可能になることを示す。以上の結果から,Ojaの規則はよりリッチなアクティベーション部分空間を保ち,信号の爆発や消滅を緩和し,リカレントネットワークにおける短期記憶を改善することが示唆された。
論文参考訳（メタデータ） (2024-08-15T20:26:47Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
論文参考訳（メタデータ） (2023-10-11T12:05:34Z)
Keep Moving: identifying task-relevant subspaces to maximise plasticity for newly learned tasks [0.22499166814992438]
継続学習アルゴリズムは、事前情報を保持しながら、新しい知識を獲得しようとする。これらのアルゴリズムは、しばしば安定性を強調し、新しいタスクを学習する際のネットワーク更新を制限する。しかし、すべては有害か? 本稿では,ニューラルネットワークの活性化空間を2つの部分空間に分解できることを提案する。
論文参考訳（メタデータ） (2023-10-07T08:54:43Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Improving Performance in Continual Learning Tasks using Bio-Inspired Architectures [4.2903672492917755]
我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2023-08-08T19:12:52Z)
Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文参考訳（メタデータ） (2023-03-16T17:00:42Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文参考訳（メタデータ） (2020-07-21T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。