論文の概要: Encoders and Ensembles for Task-Free Continual Learning
- arxiv url: http://arxiv.org/abs/2105.13327v1
- Date: Thu, 27 May 2021 17:34:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-28 18:12:46.895687
- Title: Encoders and Ensembles for Task-Free Continual Learning
- Title（参考訳）: タスクフリー連続学習のためのエンコーダとアンサンブル
- Authors: Murray Shanahan and Christos Kaplanis and Jovana Mitrovi\'c
- Abstract要約: 本稿では,タスク境界が存在しない,あるいは不明な,特に要求の多い環境での継続的な学習に有効なアーキテクチャを提案する。
このアーキテクチャで訓練されたモデルは、標準画像分類連続学習ベンチマークにおけるタスクフリー設定の最先端であることを示す。
また、アーキテクチャは、一度に1つのクラスが学習される完全にインクリメンタルな環境でよく学習され、最大100のクラスでその効果を示す。
- 参考スコア（独自算出の注目度）: 15.831773437720429
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present an architecture that is effective for continual learning in an
especially demanding setting, where task boundaries do not exist or are
unknown. Our architecture comprises an encoder, pre-trained on a separate
dataset, and an ensemble of simple one-layer classifiers. Two main innovations
are required to make this combination work. First, the provision of suitably
generic pre-trained encoders has been made possible thanks to recent progress
in self-supervised training methods. Second, pairing each classifier in the
ensemble with a key, where the key-space is identical to the latent space of
the encoder, allows them to be used collectively, yet selectively, via
k-nearest neighbour lookup. We show that models trained with the
encoders-and-ensembles architecture are state-of-the-art for the task-free
setting on standard image classification continual learning benchmarks, and
improve on prior state-of-the-art by a large margin in the most challenging
cases. We also show that the architecture learns well in a fully incremental
setting, where one class is learned at a time, and we demonstrate its
effectiveness in this setting with up to 100 classes. Finally, we show that the
architecture works in a task-free continual learning context where the data
distribution changes gradually, and existing approaches requiring knowledge of
task boundaries cannot be applied.
- Abstract（参考訳）: タスク境界が存在しない,あるいは未知な,特に要求の多い環境において,継続的な学習に有効なアーキテクチャを提案する。
我々のアーキテクチャは、別のデータセットで事前訓練されたエンコーダと、単純な1層分類器のアンサンブルから構成される。
この組み合わせを機能させるためには、2つの大きなイノベーションが必要です。
まず, 自己指導型訓練手法の進歩により, 汎用的な事前学習エンコーダの提供が可能となった。
第二に、アンサンブル内の各分類器と鍵をペアにすると、鍵空間はエンコーダの潜在空間と同一であり、k-ネアレスト近傍のルックアップを通じて集合的かつ選択的にそれらを使用することができる。
エンコーダとアンサンブルアーキテクチャで訓練されたモデルは、標準画像分類連続学習ベンチマークにおけるタスクフリー設定のための最先端であり、最も困難なケースでは、先行技術の改善が大きなマージンであることを示す。
また、1つのクラスが一度に学習されるような、完全にインクリメンタルな設定でアーキテクチャがうまく学習できることを示し、100クラスまでのこの設定でその効果を実証する。
最後に,データ分散が徐々に変化するタスクフリーな連続学習コンテキストでアーキテクチャが動作し,タスク境界に関する知識を必要とする既存のアプローチは適用できないことを示す。
関連論文リスト
- Task agnostic continual learning with Pairwise layer architecture [0.0]
ネットワークの最終層を相互の相互作用層に置き換えることで、継続的な学習性能を向上させることができることを示す。
このアーキテクチャを用いたネットワークは、MNISTとFashionMNISTベースの連続画像分類実験において競合性能を示す。
論文 参考訳（メタデータ） (2024-05-22T13:30:01Z) - Reusable Architecture Growth for Continual Stereo Matching [92.36221737921274]
我々は、教師付きおよび自己監督型の両方で、新しいシーンを継続的に学習するための、再利用可能なアーキテクチャ成長(RAG)フレームワークを紹介します。
RAGは、前のユニットを再利用し、良好な性能を得ることにより、成長中の高い再利用性を維持することができる。
また、推論時にシーン固有のアーキテクチャパスを適応的に選択するScene Routerモジュールを提案する。
論文 参考訳（メタデータ） (2024-03-30T13:24:58Z) - Semi-supervised Multimodal Representation Learning through a Global Workspace [2.8948274245812335]
グローバルワークスペース」は2つの入力モダリティの共有表現である。
このアーキテクチャは、サイクル一貫性による自己教師型トレーニングに適しています。
このようなアーキテクチャは、一致したデータを必要とすることがほとんどなく、2つのモダリティを調整し、翻訳するように訓練できることを示します。
論文 参考訳（メタデータ） (2023-06-27T12:41:36Z) - Improving Time Series Encoding with Noise-Aware Self-Supervised Learning and an Efficient Encoder [15.39384259348351]
本稿では,自然時系列におけるノイズ発生信号の存在を考慮し,一貫した表現学習を促進する革新的な学習戦略を提案する。
また,インセプションブロック内に拡張畳み込みを組み込んだエンコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-11T04:00:11Z) - Learning from Mistakes: Self-Regularizing Hierarchical Representations
in Point Cloud Semantic Segmentation [15.353256018248103]
LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。
本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。
我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
論文 参考訳（メタデータ） (2023-01-26T14:52:30Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳（メタデータ） (2022-12-17T02:20:14Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳（メタデータ） (2022-12-12T15:40:30Z) - Policy Architectures for Compositional Generalization in Control [71.61675703776628]
本稿では,タスクにおけるエンティティベースの構成構造をモデル化するためのフレームワークを提案する。
私たちのポリシーは柔軟で、アクションプリミティブを必要とせずにエンドツーエンドでトレーニングできます。
論文 参考訳（メタデータ） (2022-03-10T06:44:24Z) - Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。
本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。
得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-15T17:38:15Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。