論文の概要: Routing Networks with Co-training for Continual Learning

• arxiv url: http://arxiv.org/abs/2009.04381v1
• Date: Wed, 9 Sep 2020 15:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 08:57:53.004149
• Title: Routing Networks with Co-training for Continual Learning
• Title（参考訳）: 連続学習のための協調学習型ルーティングネットワーク
• Authors: Mark Collier, Efi Kokiopoulou, Andrea Gesmundo, Jesse Berent
• Abstract要約: 連続学習のためのスパースルーティングネットワークを提案する。 各入力に対して、これらのネットワークアーキテクチャは専門家のネットワークを介して異なる経路を活性化する。 実際に,協調学習と呼ぶルーティングネットワークのための新しいトレーニング手法を開発する必要がある。
• 参考スコア（独自算出の注目度）: 5.957609459173546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The core challenge with continual learning is catastrophic forgetting, the phenomenon that when neural networks are trained on a sequence of tasks they rapidly forget previously learned tasks. It has been observed that catastrophic forgetting is most severe when tasks are dissimilar to each other. We propose the use of sparse routing networks for continual learning. For each input, these network architectures activate a different path through a network of experts. Routing networks have been shown to learn to route similar tasks to overlapping sets of experts and dissimilar tasks to disjoint sets of experts. In the continual learning context this behaviour is desirable as it minimizes interference between dissimilar tasks while allowing positive transfer between related tasks. In practice, we find it is necessary to develop a new training method for routing networks, which we call co-training which avoids poorly initialized experts when new tasks are presented. When combined with a small episodic memory replay buffer, sparse routing networks with co-training outperform densely connected networks on the MNIST-Permutations and MNIST-Rotations benchmarks.
• Abstract（参考訳）: 連続学習の核となる課題は破滅的な忘れ方であり、ニューラルネットワークが一連のタスクで訓練されると、学習したタスクをすぐに忘れてしまう現象である。 タスクが互いに異なる場合、破滅的な忘れ物が最も深刻なことが観察されている。 本稿では,連続学習におけるスパースルーティングネットワークの利用を提案する。 各入力に対して、これらのネットワークアーキテクチャは専門家のネットワークを通して異なる経路を活性化する。 ルーティングネットワークは、類似したタスクを複数の専門家の集合に重複させ、異なるタスクを複数の専門家の集合に分割することを学ぶことが示されている。 連続的な学習の文脈では、この行動は、異なるタスク間の干渉を最小限に抑えつつ、関連するタスク間のポジティブな移動を可能にするため望ましい。 実際には、新しいタスクが提示されたとき、不十分な初期化専門家を避けるコトレーニングと呼ばれる、ルーティングネットワークのための新しいトレーニング方法を開発する必要がある。 MNIST-Permutations と MNIST-Rotations のベンチマークでは、小さなエピソードメモリリプレイバッファと組み合わせることで、互いに学習する疎結合ネットワークが密結合ネットワークよりも優れていた。

関連論文リスト

• Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
  神経進化への伝統的なアプローチは、しばしばゼロから始まる。 アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。 我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
  論文  参考訳（メタデータ） (2024-03-21T08:30:44Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts [0.5801044612920815]
  比較的小さなデータセット上で、機械読解のためのタスク認識エキスパートネットワークの混合について述べる。 我々は、常識学習の問題に焦点をあて、共通基盤知識を強制する。 我々は近年のマルチタスクとトランスファーラーニングの進歩に注目する。
  論文  参考訳（メタデータ） (2022-10-04T17:13:41Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)
• Beneficial Perturbation Network for designing general adaptive artificial intelligence systems [14.226973149346886]
  我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。 我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-09-27T01:28:10Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)
• Learning to Branch for Multi-Task Learning [12.49373126819798]
  ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。 本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
  論文  参考訳（メタデータ） (2020-06-02T19:23:21Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。