論文の概要: Activation by Interval-wise Dropout: A Simple Way to Prevent Neural Networks from Plasticity Loss

• arxiv url: http://arxiv.org/abs/2502.01342v1
• Date: Mon, 03 Feb 2025 13:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:00.961689
• Title: Activation by Interval-wise Dropout: A Simple Way to Prevent Neural Networks from Plasticity Loss
• Title（参考訳）: 間隔ワイドドロップアウトによる活性化:塑性損失からニューラルネットワークを予防するための簡単な方法
• Authors: Sangyeon Park, Isaac Han, Seungwon Oh, Kyung-Joong Kim,
• Abstract要約: 塑性損失は、新しいタスクやデータ分散のシフトに適応するモデルの能力を制限する。 本稿では,AID (Activation by Interval-wise Dropout) について紹介する。 AIDはネットワークを正規化し,可塑性損失を伴わない深い線形ネットワークに類似した振舞いを促進する。
• 参考スコア（独自算出の注目度）: 3.841822016067955
• License:
• Abstract: Plasticity loss, a critical challenge in neural network training, limits a model's ability to adapt to new tasks or shifts in data distribution. This paper introduces AID (Activation by Interval-wise Dropout), a novel method inspired by Dropout, designed to address plasticity loss. Unlike Dropout, AID generates subnetworks by applying Dropout with different probabilities on each preactivation interval. Theoretical analysis reveals that AID regularizes the network, promoting behavior analogous to that of deep linear networks, which do not suffer from plasticity loss. We validate the effectiveness of AID in maintaining plasticity across various benchmarks, including continual learning tasks on standard image classification datasets such as CIFAR10, CIFAR100, and TinyImageNet. Furthermore, we show that AID enhances reinforcement learning performance in the Arcade Learning Environment benchmark.
• Abstract（参考訳）: ニューラルネットワークトレーニングにおける重要な課題である塑性損失は、新しいタスクやデータ分散のシフトに適応するモデルの能力を制限している。 本稿では, 塑性損失に対処する新しい手法であるAID(Activation by Interval-wise Dropout)を提案する。 Dropoutとは異なり、AIDはプリアクティベーション間隔ごとに異なる確率でDropoutを適用することでサブネットワークを生成する。 理論的解析により、AIDはネットワークを規則化し、可塑性損失に悩まされない深い線形ネットワークと類似した振舞いを促進することが明らかになった。 CIFAR10, CIFAR100, TinyImageNetなどの標準画像分類データセットにおける連続的な学習タスクを含む, 各種ベンチマークにおける可塑性維持におけるAIDの有効性を検証する。 さらに、AIDは、アーケード学習環境ベンチマークにおいて強化学習性能を向上させることを示す。

関連論文リスト

• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Learning A Spiking Neural Network for Efficient Image Deraining [20.270365030042623]
  ESDNetと呼ばれる効率の良いスパイクレイニングネットワークを提案する。 我々の研究は、雨のピクセル値がSNNのスパイク信号の強度を高めるという観測に動機づけられている。 トレーニングの課題を克服するために,モデルを直接トレーニングするための勾配プロキシ戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-10T07:19:58Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Learning a Low-Rank Feature Representation: Achieving Better Trade-Off between Stability and Plasticity in Continual Learning [20.15493383736196]
  連続学習では、ネットワークは一連のタスクでトレーニングされた場合、安定性と可塑性の間のトレードオフに直面します。 そこで我々は, LRFRと呼ばれる新しいトレーニングアルゴリズムを提案し, 安定性を犠牲にすることなく, 可塑性を増強する。 CIFAR-100とTinyImageNetを連続学習のベンチマークデータセットとして使用することにより、提案手法は一貫して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-12-14T08:34:11Z)
• PLASTIC: Improving Input and Label Plasticity for Sample Efficient Reinforcement Learning [54.409634256153154]
  強化学習(RL)では, サンプル効率の向上が重要である。 原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。 本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
  論文  参考訳（メタデータ） (2023-06-19T06:14:51Z)
• Deep Reinforcement Learning with Plasticity Injection [37.19742321534183]
  深層強化学習(RL)ネットワークでは、可塑性が徐々に低下することを示す証拠がある。 可塑性注入はパラメータの数を変更せずにネットワーク可塑性を増加させる。 可塑性注入は 代替方法に比べて より強い性能を得る
  論文  参考訳（メタデータ） (2023-05-24T20:41:35Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Learning a Domain-Agnostic Visual Representation for Autonomous Driving via Contrastive Loss [25.798361683744684]
  ドメイン認識コントラスト学習(Domain-Agnostic Contrastive Learning、DACL)は、2段階の非監視ドメイン適応フレームワークである。 提案手法は,従来の最新手法に比べ,単眼深度推定作業における性能向上を実現した。
  論文  参考訳（メタデータ） (2021-03-10T07:06:03Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
  連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-30T06:42:19Z)
• Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
  個人再識別のための教師なし領域適応手法を提案する。 実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-01-14T17:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。