論文の概要: IF2Net: Innately Forgetting-Free Networks for Continual Learning
- arxiv url: http://arxiv.org/abs/2306.10480v1
- Date: Sun, 18 Jun 2023 05:26:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 20:22:02.348749
- Title: IF2Net: Innately Forgetting-Free Networks for Continual Learning
- Title（参考訳）: if2net: 連続学習のためのインナートフリーネットワーク
- Authors: Depeng Li, Tianqi Wang, Bingrong Xu, Kenji Kawaguchi, Zhigang Zeng,
and Ponnuthurai Nagaratnam Suganthan
- Abstract要約: 継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
- 参考スコア（独自算出の注目度）: 49.57495829364827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning can incrementally absorb new concepts without interfering
with previously learned knowledge. Motivated by the characteristics of neural
networks, in which information is stored in weights on connections, we
investigated how to design an Innately Forgetting-Free Network (IF2Net) for
continual learning context. This study proposed a straightforward yet effective
learning paradigm by ingeniously keeping the weights relative to each seen task
untouched before and after learning a new task. We first presented the novel
representation-level learning on task sequences with random weights. This
technique refers to tweaking the drifted representations caused by
randomization back to their separate task-optimal working states, but the
involved weights are frozen and reused (opposite to well-known layer-wise
updates of weights). Then, sequential decision-making without forgetting can be
achieved by projecting the output weight updates into the parsimonious
orthogonal space, making the adaptations not disturb old knowledge while
maintaining model plasticity. IF2Net allows a single network to inherently
learn unlimited mapping rules without telling task identities at test time by
integrating the respective strengths of randomization and orthogonalization. We
validated the effectiveness of our approach in the extensive theoretical
analysis and empirical study.
- Abstract（参考訳）: 継続的学習は、以前の学習した知識に干渉することなく、新しい概念を段階的に吸収することができる。
ニューラルネットワークの特徴として,情報を接続に重み付けして格納する手法を考案し,連続学習環境におけるIF2Netの設計方法について検討した。
本研究では,新しいタスクの学習前後において,各タスクに対する重み付けを巧みに保ちながら,単純かつ効果的な学習パラダイムを提案する。
まず,ランダム重み付きタスク列の表現レベル学習について紹介した。
このテクニックは、ランダム化によって引き起こされるドリフト表現を別々のタスク最適動作状態に調整することを指すが、関連する重みは凍結され、再利用される(重みの層的な更新がよく知られている)。
そして、出力重み更新を同相直交空間に投影し、モデル可塑性を維持しながら古い知識を邪魔しないようにすることで、忘れることなく逐次意思決定を行うことができる。
IF2Netは、ランダム化と直交化のそれぞれの強みを統合することにより、テスト時にタスクの同一性を知ることなく、本質的に無制限のマッピングルールを学習することができる。
理論解析および実証研究において,本手法の有効性を検証した。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks [9.82510084910641]
タスク境界において,タスクが終了し,他のタスク開始時に発生する新しいメカニズムを提案する。
CIFAR10やTinyImagenetなどのコンピュータビジョンデータセットのベンチマークで提案手法を評価する。
論文 参考訳（メタデータ） (2023-11-02T22:00:23Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Random Weights Networks Work as Loss Prior Constraint for Image
Restoration [50.80507007507757]
「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」
我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。
強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
論文 参考訳（メタデータ） (2023-03-29T03:43:51Z) - Continual Learning with Invertible Generative Models [15.705568893476947]
破滅的な忘れ(CF)は、ニューラルネットワークが新しいタスクでトレーニングされている間、過去の知識を上書きするたびに起こる。
本稿では,正規化の強みと生成的リハーサルアプローチを組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2022-02-11T15:28:30Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z) - Pseudo-Rehearsal for Continual Learning with Normalizing Flows [15.705568893476947]
破滅的な忘れ(CF)は、ニューラルネットワークが新しいタスクでトレーニングされている間、過去の知識を上書きするたびに起こる。
本稿では,正規化の強みと生成的リハーサルアプローチを組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-05T20:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。