論文の概要: Architecture Matters in Continual Learning

• arxiv url: http://arxiv.org/abs/2202.00275v1
• Date: Tue, 1 Feb 2022 08:32:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 13:28:57.303242
• Title: Architecture Matters in Continual Learning
• Title（参考訳）: 継続的学習における建築問題
• Authors: Seyed Iman Mirzadeh, Arslan Chaudhry, Dong Yin, Timothy Nguyen, Razvan Pascanu, Dilan Gorur, Mehrdad Farajtabar
• Abstract要約: アーキテクチャの選択が継続的な学習性能に大きな影響を及ぼすことを示す。 本研究は,継続的な学習性能を向上させるためのベストプラクティスと勧告を提示する。
• 参考スコア（独自算出の注目度）: 43.36462900350999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A large body of research in continual learning is devoted to overcoming the catastrophic forgetting of neural networks by designing new algorithms that are robust to the distribution shifts. However, the majority of these works are strictly focused on the "algorithmic" part of continual learning for a "fixed neural network architecture", and the implications of using different architectures are mostly neglected. Even the few existing continual learning methods that modify the model assume a fixed architecture and aim to develop an algorithm that efficiently uses the model throughout the learning experience. However, in this work, we show that the choice of architecture can significantly impact the continual learning performance, and different architectures lead to different trade-offs between the ability to remember previous tasks and learning new ones. Moreover, we study the impact of various architectural decisions, and our findings entail best practices and recommendations that can improve the continual learning performance.
• Abstract（参考訳）: 連続学習における大規模な研究は、分散シフトにロバストな新しいアルゴリズムを設計することによって、ニューラルネットワークの破滅的な忘れを克服することに注力している。 しかしながら、これらの研究の大部分は、"固定されたニューラルネットワークアーキテクチャ"に対する継続的学習の"アルゴリズム"部分に厳密に焦点を合わせており、異なるアーキテクチャを使用することによる影響はほとんど無視されている。 モデルを変更する数少ない既存の連続学習方法でさえも、固定されたアーキテクチャを仮定し、学習経験を通してモデルを効率的に利用するアルゴリズムの開発を目指している。 しかし,本研究では,アーキテクチャの選択が連続的な学習性能に大きく影響することを示し,異なるアーキテクチャが過去のタスクを記憶する能力と新しいタスクを学習する能力のトレードオフを生じさせる。 さらに, 各種アーキテクチャ決定の影響について検討し, 継続的な学習性能を向上させるためのベストプラクティスと勧告について検討した。

関連論文リスト

• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
  ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。 ネットワークの学習力学を様々な観点から研究する。
  論文  参考訳（メタデータ） (2021-10-21T23:49:23Z)
• Learn to Bind and Grow Neural Structures [0.3553493344868413]
  我々は、新しいタスクのためのニューラルアーキテクチャを漸進的に学習する新しいフレームワーク、Learning to Bind and Growを紹介する。 私たちのアプローチの中心は、共有マルチタスクアーキテクチャ空間の新しい、解釈可能な、パラメータ化です。 連続学習ベンチマークの実験により、我々のフレームワークは、以前の拡張ベースのアプローチと相容れない性能を示した。
  論文  参考訳（メタデータ） (2020-11-21T09:40:26Z)
• D2RL: Deep Dense Architectures in Reinforcement Learning [47.67475810050311]
  コンピュータビジョンと生成モデルにおけるアーキテクチャ選択の成功からインスピレーションを得ます。 各種ロボット学習ベンチマーク環境における強化学習における深層ネットワークと高密度接続の利用について検討した。
  論文  参考訳（メタデータ） (2020-10-19T01:27:07Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• Learning to Rank Learning Curves [15.976034696758148]
  本稿では,トレーニングの早い段階で,構成不良を解消し,計算予算を削減できる新しい手法を提案する。 我々は,学習曲線を観測することなく,学習曲線を効果的にランク付けできることを示す。
  論文  参考訳（メタデータ） (2020-06-05T10:49:52Z)
• Disturbance-immune Weight Sharing for Neural Architecture Search [96.93812980299428]
  本稿では,モデル更新のための乱れ免疫更新戦略を提案する。 我々は,パフォーマンス障害リスクを軽減するための戦略の有効性を理論的に分析する。
  論文  参考訳（メタデータ） (2020-03-29T17:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。