論文の概要: Overcoming Catastrophic Forgetting via Direction-Constrained Optimization

• arxiv url: http://arxiv.org/abs/2011.12581v3
• Date: Fri, 1 Jul 2022 20:11:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 02:02:12.149879
• Title: Overcoming Catastrophic Forgetting via Direction-Constrained Optimization
• Title（参考訳）: 方向性制約最適化による破滅的予測の克服
• Authors: Yunfei Teng, Anna Choromanska, Murray Campbell, Songtao Lu, Parikshit Ram, Lior Horesh
• Abstract要約: 連続的な学習フレームワークにおいて,分類ネットワークの固定アーキテクチャを用いてディープラーニングモデルを学習するための最適化アルゴリズムの新たな設計について検討する。 本稿では,方向制約付き最適化(DCO)法について述べる。各タスクに対して,対応する最上向きの主方向を近似する線形オートエンコーダを導入する。 我々のアルゴリズムは、他の最先端の正規化に基づく連続学習法と比較して好適に機能することを示した。
• 参考スコア（独自算出の注目度）: 43.53836230865248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies a new design of the optimization algorithm for training deep learning models with a fixed architecture of the classification network in a continual learning framework. The training data is non-stationary and the non-stationarity is imposed by a sequence of distinct tasks. We first analyze a deep model trained on only one learning task in isolation and identify a region in network parameter space, where the model performance is close to the recovered optimum. We provide empirical evidence that this region resembles a cone that expands along the convergence direction. We study the principal directions of the trajectory of the optimizer after convergence and show that traveling along a few top principal directions can quickly bring the parameters outside the cone but this is not the case for the remaining directions. We argue that catastrophic forgetting in a continual learning setting can be alleviated when the parameters are constrained to stay within the intersection of the plausible cones of individual tasks that were so far encountered during training. Based on this observation we present our direction-constrained optimization (DCO) method, where for each task we introduce a linear autoencoder to approximate its corresponding top forbidden principal directions. They are then incorporated into the loss function in the form of a regularization term for the purpose of learning the coming tasks without forgetting. Furthermore, in order to control the memory growth as the number of tasks increases, we propose a memory-efficient version of our algorithm called compressed DCO (DCO-COMP) that allocates a memory of fixed size for storing all autoencoders. We empirically demonstrate that our algorithm performs favorably compared to other state-of-art regularization-based continual learning methods.
• Abstract（参考訳）: 本稿では,連続学習フレームワークにおける分類ネットワークの固定アーキテクチャを用いたディープラーニングモデルの学習のための最適化アルゴリズムの新しい設計法について述べる。 訓練データは非定常であり、非定常は異なるタスクのシーケンスによって課される。 まず,1つの学習課題のみを個別に訓練した深層モデルを解析し,モデル性能が回復した最適値に近いネットワークパラメータ空間内の領域を同定する。 この領域が収束方向に沿って広がる円錐に似ているという実証的な証拠を提供する。 収束後のオプティマイザの軌道の主方向について検討し,いくつかの主方向を走行することで,円錐の外にパラメータを素早く持ち込むことができることを示すが,残りの方向はそうではない。 連続的な学習環境における破滅的な忘れは、トレーニング中にこれまで遭遇した個々のタスクのもっともらしい円錐の交差点にパラメータが留まることが制約されている場合に軽減できると論じる。 そこで,本研究では,各タスクに対して,対応する最上向きの主方向を近似する線形オートエンコーダを導入する方向制約最適化手法を提案する。 その後、それらは、忘れずに次のタスクを学習するために、正規化用語の形で損失関数に組み込まれる。 さらに,タスク数が増加するにつれてメモリ増加を制御するために,全オートエンコーダを格納するためのメモリサイズの固定メモリを割り当てる圧縮DCO(DCO-COMP)と呼ばれるアルゴリズムを提案する。 我々は,本アルゴリズムが他の最先端の正規化に基づく連続学習手法と比較して好適に動作することを示す。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Meta-Learning with Versatile Loss Geometries for Fast Adaptation Using Mirror Descent [44.56938629818211]
  メタ学習における根本的な課題は、タスク固有のモデルをトレーニングするために、抽出したモデルを迅速に“適応”する方法である。 既存のアプローチは、タスク毎のトレーニングプロセスの収束性を高めるプリコンディショナーを使用して、この課題に対処する。 この寄与は非線形ミラーマップを学習することでこの制限に対処し、多角距離メートル法を誘導する。
  論文  参考訳（メタデータ） (2023-12-20T23:45:06Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• TSO: Curriculum Generation using continuous optimization [0.0]
  連続最適化に基づく簡便かつ効率的な手法を提案する。 エンコーダネットワークは、トレーニングシーケンスを連続空間にマップ/組込みする。 予測ネットワークは、戦略の連続表現を入力として使用し、固定ネットワークアーキテクチャの精度を予測する。
  論文  参考訳（メタデータ） (2021-06-16T06:32:21Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• Training Networks in Null Space of Feature Covariance for Continual Learning [34.095874368589904]
  従来のタスクのヌルスペース内でネットワークパラメータを逐次最適化する新しいネットワークトレーニングアルゴリズムadam-nsclを提案する。 このアプローチを,cifar-100とtinyimagenetのベンチマークデータセット上での連続学習のためのトレーニングネットワークに適用する。
  論文  参考訳（メタデータ） (2021-03-12T07:21:48Z)
• Neural Non-Rigid Tracking [26.41847163649205]
  我々は、新しい、エンドツーエンドの学習可能、差別化可能な非剛性トラッカーを導入する。 我々は畳み込みニューラルネットワークを用いて、密度の高い通信とその信頼性を予測する。 現状の手法と比較して,提案アルゴリズムは再構築性能の向上を示す。
  論文  参考訳（メタデータ） (2020-06-23T18:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。