論文の概要: Improving Continual Learning Performance and Efficiency with Auxiliary Classifiers

• arxiv url: http://arxiv.org/abs/2403.07404v4
• Date: Thu, 29 May 2025 09:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 20:45:56.835148
• Title: Improving Continual Learning Performance and Efficiency with Auxiliary Classifiers
• Title（参考訳）: 補助的分類器による連続学習性能と効率の向上
• Authors: Filip Szatkowski, Yaoyue Zheng, Fei Yang, Bartłomiej Twardowski, Tomasz Trzciński, Joost van de Weijer,
• Abstract要約: ニューラルネットワーク層における中間表現は忘れがちであり、計算を高速化する可能性を強調している。 また,ACを用いて推定平均コストを10～60%削減する。
• 参考スコア（独自算出の注目度）: 12.561018201238152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is crucial for applying machine learning in challenging, dynamic, and often resource-constrained environments. However, catastrophic forgetting - overwriting previously learned knowledge when new information is acquired - remains a major challenge. In this work, we examine the intermediate representations in neural network layers during continual learning and find that such representations are less prone to forgetting, highlighting their potential to accelerate computation. Motivated by these findings, we propose to use auxiliary classifiers(ACs) to enhance performance and demonstrate that integrating ACs into various continual learning methods consistently improves accuracy across diverse evaluation settings, yielding an average 10% relative gain. We also leverage the ACs to reduce the average cost of the inference by 10-60% without compromising accuracy, enabling the model to return the predictions before computing all the layers. Our approach provides a scalable and efficient solution for continual learning.
• Abstract（参考訳）: 機械学習を挑戦的でダイナミックで、しばしばリソースに制約のある環境で適用するには、継続的な学習が不可欠だ。 しかし、破滅的な忘れ物 — 新たな情報が取得されたとき、以前に学んだ知識を上書きする — は依然として大きな課題です。 本研究では、連続学習中のニューラルネットワーク層における中間表現について検討し、そのような表現は忘れがちであり、計算を高速化する可能性を強調した。 これらの知見を活かして、補助分類器(AC)を用いて性能を向上し、様々な連続的な学習手法にACを統合することにより、様々な評価設定の精度が一貫して向上し、平均10%の相対的な利得が得られることを示す。 また、ACを利用して推論の平均コストを10～60%削減し、全てのレイヤを計算する前に予測を返却する。 私たちのアプローチは、継続的学習のためのスケーラブルで効率的なソリューションを提供します。

関連論文リスト

• KAC: Kolmogorov-Arnold Classifier for Continual Learning [70.29494592027852]
  継続的な学習には、モデルを忘れずに連続的なタスクにわたって継続的にトレーニングする必要がある。 既存の手法の多くは線形分類器を利用しており、新しいタスクを学習しながら安定した分類空間を維持するのに苦労している。 Kolmogorov-Arnold Networks (KAN) の単純な連続回帰タスクにおける学習の保存の成功に触発されて、我々はより複雑な連続的な学習シナリオにおける学習の可能性を探究した。
  論文  参考訳（メタデータ） (2025-03-27T01:27:14Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• A Retention-Centric Framework for Continual Learning with Guaranteed Model Developmental Safety [75.8161094916476]
  現実世界のアプリケーションでは、学習可能なシステムは、しばしば課題や新しいタスクに対処するために反復的なモデル開発を行う。 既存の能力の新規または改善は、必然的に旧モデルの優れた能力を失う可能性がある。 本稿では,データ依存制約を伴う保持中心のフレームワークを提案し,既存の画像分類能力の獲得や改善を目的とした事前学習型CLIPモデルを継続的に開発する方法について検討する。
  論文  参考訳（メタデータ） (2024-10-04T22:34:58Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
  本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。 より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
  論文  参考訳（メタデータ） (2023-03-16T17:00:42Z)
• New Insights on Relieving Task-Recency Bias for Online Class Incremental Learning [37.888061221999294]
  あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。 安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-16T11:52:00Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。