論文の概要: Restricted Orthogonal Gradient Projection for Continual Learning
- arxiv url: http://arxiv.org/abs/2301.12131v1
- Date: Sat, 28 Jan 2023 08:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 18:55:49.691650
- Title: Restricted Orthogonal Gradient Projection for Continual Learning
- Title(参考訳): 連続学習のための制限直交勾配投影法
- Authors: Zeyuan Yang, Zonghan Yang, Peng Li, Yang Liu
- Abstract要約: 勾配予測手法は、干渉を最小限に抑えるために、新しいタスクのための最適化空間に厳しい制約を課す。
最近の手法では、成長するネットワークで凍結パラメータを再利用し、計算コストが高い。
本稿では,制約直交勾配法(ROGO)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 17.89324741805405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning aims to avoid catastrophic forgetting and effectively
leverage learned experiences to master new knowledge. Existing gradient
projection approaches impose hard constraints on the optimization space for new
tasks to minimize interference, which simultaneously hinders forward knowledge
transfer. To address this issue, recent methods reuse frozen parameters with a
growing network, resulting in high computational costs. Thus, it remains a
challenge whether we can improve forward knowledge transfer for gradient
projection approaches using a fixed network architecture. In this work, we
propose the Restricted Orthogonal Gradient prOjection (ROGO) framework. The
basic idea is to adopt a restricted orthogonal constraint allowing parameters
optimized in the direction oblique to the whole frozen space to facilitate
forward knowledge transfer while consolidating previous knowledge. Our
framework requires neither data buffers nor extra parameters. Extensive
experiments have demonstrated the superiority of our framework over several
strong baselines. We also provide theoretical guarantees for our relaxing
strategy.
- Abstract(参考訳): 継続的な学習は、破滅的な忘れ物を避け、学習経験を効果的に活用して新しい知識を習得することを目的としている。
既存の勾配投影法は、新しいタスクが干渉を最小限に抑えるために最適化空間に厳しい制約を課す。
この問題に対処するため、近年の手法では、成長するネットワークで凍結パラメータを再利用し、計算コストが高い。
したがって、固定されたネットワークアーキテクチャを用いて勾配投影アプローチの知識伝達を改善できるかは依然として課題である。
本研究では,制約直交勾配法(ROGO)フレームワークを提案する。
基本的な考え方は、制限された直交制約を採用し、凍った空間全体に対して斜め方向のパラメータを最適化し、以前の知識を統合しながら知識の転送を促進することである。
私たちのフレームワークはデータバッファも余分なパラメータも必要ありません。
広範な実験により、いくつかの強力なベースラインに対するフレームワークの優位性が実証された。
また,緩和戦略に対する理論的保証も提供する。
関連論文リスト
- Gradient-free neural topology optimization [0.0]
勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。
これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。
我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
論文 参考訳(メタデータ) (2024-03-07T23:00:49Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-20T02:34:11Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳(メタデータ) (2023-08-09T04:34:21Z) - Low-Variance Forward Gradients using Direct Feedback Alignment and
Momentum [0.0]
本稿では,アクティビティ・パータード・フォワード・グラディエントと直接フィードバックアライメントとモーメントを組み合わせたアルゴリズムを提案する。
我々のアプローチは、バックプロパゲーションの他のローカル代替手段と比較して、より高速な収束と性能の向上を可能にします。
論文 参考訳(メタデータ) (2022-12-14T15:30:56Z) - Gradient Backpropagation Through Combinatorial Algorithms: Identity with
Projection Works [20.324159725851235]
ゼロあるいは未定義の解法に対する意味のある置き換えは、効果的な勾配に基づく学習に不可欠である。
本稿では, 離散解空間の幾何学を応用して, 後方パス上の負の同一性として処理する原理的手法を提案する。
論文 参考訳(メタデータ) (2022-05-30T16:17:09Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - TRGP: Trust Region Gradient Projection for Continual Learning [39.99577526417276]
破滅的な忘れは継続的な学習における大きな課題の1つだ。
本稿では,フォワード・ナレッジ・トランスファーを容易にするため,信頼領域のグラディエント・プロジェクションを提案する。
提案手法は,最先端手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-02-07T04:21:54Z) - Natural continual learning: success is a journey, not (just) a
destination [9.462808515258464]
自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。
提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。
トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
論文 参考訳(メタデータ) (2021-06-15T12:24:53Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。