論文の概要: Dynamic Feedback Engines: Layer-Wise Control for Self-Regulating Continual Learning

• arxiv url: http://arxiv.org/abs/2512.21743v1
• Date: Thu, 25 Dec 2025 17:27:43 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 11:53:55.912795
• Title: Dynamic Feedback Engines: Layer-Wise Control for Self-Regulating Continual Learning
• Title（参考訳）: 動的フィードバックエンジン:自己制御型連続学習のための層幅制御
• Authors: Hengyi Wu, Zhenyi Wang, Heng Huang,
• Abstract要約: 本研究では,そのエントロピーに基づいて各層を制御するための動的フィードバック機構を用いたエントロピー対応連続学習手法を提案する。 提案手法は,高エントロピー層におけるエントロピーを低減し,過度に信頼性の高い層におけるエントロピーを高め,過度なオーバーフィッティングを緩和する。 さまざまなデータセットの実験は、最先端の継続的学習ベースラインよりも大幅にパフォーマンスが向上したことを示している。
• 参考スコア（独自算出の注目度）: 55.854208296248714
• License:
• Abstract: Continual learning aims to acquire new tasks while preserving performance on previously learned ones, but most methods struggle with catastrophic forgetting. Existing approaches typically treat all layers uniformly, often trading stability for plasticity or vice versa. However, different layers naturally exhibit varying levels of uncertainty (entropy) when classifying tasks. High-entropy layers tend to underfit by failing to capture task-specific patterns, while low-entropy layers risk overfitting by becoming overly confident and specialized. To address this imbalance, we propose an entropy-aware continual learning method that employs a dynamic feedback mechanism to regulate each layer based on its entropy. Specifically, our approach reduces entropy in high-entropy layers to mitigate underfitting and increases entropy in overly confident layers to alleviate overfitting. This adaptive regulation encourages the model to converge to wider local minima, which have been shown to improve generalization. Our method is general and can be seamlessly integrated with both replay- and regularization-based approaches. Experiments on various datasets demonstrate substantial performance gains over state-of-the-art continual learning baselines.
• Abstract（参考訳）: 継続的な学習は、以前に学習したタスクのパフォーマンスを維持しながら新しいタスクを取得することを目的としているが、ほとんどのメソッドは破滅的な忘れに苦しむ。 既存のアプローチは通常、すべての層を均一に扱い、しばしば可塑性のために安定性を交換する。 しかし、異なる層は、タスクを分類する際に様々なレベルの不確実性(エントロピー)を示す。 高エントロピー層はタスク固有のパターンを捉えないため不適合になりがちだが、低エントロピー層は過剰な自信と専門化によって過度に適合するリスクがある。 この不均衡に対処するために,動的フィードバック機構を用いて各層をエントロピーに基づいて制御するエントロピー対応連続学習手法を提案する。 具体的には,高エントロピー層におけるエントロピーを低減し,不適合を緩和し,高信頼層におけるエントロピーを高め,過適合を緩和する。 この適応的な規制は、一般化を改善することが示されているより広い局所ミニマにモデルを収束させることを促す。 我々の手法は汎用的で、リプレイと正規化の両方のアプローチとシームレスに統合できる。 さまざまなデータセットの実験は、最先端の継続的学習ベースラインよりも大幅にパフォーマンスが向上したことを示している。

関連論文リスト

• Ranked Entropy Minimization for Continual Test-Time Adaptation [7.5140668729696145]
  テストタイム適応は、テスト時間中に学習することで、オンラインで現実的な環境に適応することを目的としている。 エントロピーの最小化は、その効率性と適応性のためにテスト時間適応の主要な戦略として現れている。 本稿では,エントロピー最小化法の安定性問題を軽減するために,ランク付けエントロピー最小化を提案する。
  論文  参考訳（メタデータ） (2025-05-22T09:29:38Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Entropy-based Stability-Plasticity for Lifelong Learning [17.40355682488805]
  本稿では,ニューラルネットワークの安定性・塑性ジレンマに対処するために,エントロピーに基づく安定塑性(ESP)を提案する。 当社のアプローチでは,塑性係数を用いて各モデル層をどの程度変更すべきかを動的に決定できる。 場合によっては、トレーニング中にレイヤを凍結することで、トレーニングのスピードアップにつながる場合もある。
  論文  参考訳（メタデータ） (2022-04-18T22:58:49Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Partial local entropy and anisotropy in deep weight spaces [0.0]
  我々は、最近提案された局所エントロピー損失関数のクラスを、平滑化正規化をウェイトの部分集合に限定することで洗練する。 新しい損失関数は部分局所エントロピーと呼ばれ、重み空間の異方性に適応し、等方性に優れる。
  論文  参考訳（メタデータ） (2020-07-17T16:16:18Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。