論文の概要: Learning where to learn: Gradient sparsity in meta and continual learning

• arxiv url: http://arxiv.org/abs/2110.14402v1
• Date: Wed, 27 Oct 2021 12:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 15:05:54.282805
• Title: Learning where to learn: Gradient sparsity in meta and continual learning
• Title（参考訳）: 学習するべき場所:メタ学習と連続学習における勾配性
• Authors: Johannes von Oswald, Dominic Zhao, Seijin Kobayashi, Simon Schug, Massimo Caccia, Nicolas Zucchet, Jo\~ao Sacramento
• Abstract要約: 学習アルゴリズムがどの重みを変えるかを決定することによって、メタ学習を改善することができることを示す。 このプロセスからパターン化されたスパーシリティが出現し、そのパターンは問題ごとの確率に基づいて変化する。 その結果、メタ学習が適応可能な特徴を発見できるかどうかの議論が進行中であり、疎勾配降下による学習がメタ学習システムにとって強力な帰納的バイアスであることを示唆している。
• 参考スコア（独自算出の注目度）: 4.845285139609619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding neural network weights that generalize well from small datasets is difficult. A promising approach is to learn a weight initialization such that a small number of weight changes results in low generalization error. We show that this form of meta-learning can be improved by letting the learning algorithm decide which weights to change, i.e., by learning where to learn. We find that patterned sparsity emerges from this process, with the pattern of sparsity varying on a problem-by-problem basis. This selective sparsity results in better generalization and less interference in a range of few-shot and continual learning problems. Moreover, we find that sparse learning also emerges in a more expressive model where learning rates are meta-learned. Our results shed light on an ongoing debate on whether meta-learning can discover adaptable features and suggest that learning by sparse gradient descent is a powerful inductive bias for meta-learning systems.
• Abstract（参考訳）: 小さなデータセットからよく一般化するニューラルネットワークの重みを見つけることは難しい。 有望なアプローチは、少数の重み変化が低い一般化誤差をもたらすような重み初期化を学ぶことである。 学習アルゴリズムがどの重みを変えるか、すなわち学習場所を学習することで、このようなメタ学習を改善することができることを示す。 このプロセスからパターン化されたスパーシリティが出現し,そのパターンは問題ごとに異なることがわかった。 この選択的なスパーシリティは、より一般化され、いくつかのショットや連続的な学習問題に対する干渉が少なくなる。 さらに,学習率をメタ学習するより表現力のあるモデルにおいても,スパース学習が出現することがわかった。 以上の結果から,メタ学習は適応可能な特徴を発見できるのか,また,疎勾配降下による学習はメタ学習システムにとって強力な帰納的バイアスであることが示唆された。

関連論文リスト

• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• Towards Scalable Adaptive Learning with Graph Neural Networks and Reinforcement Learning [0.0]
  学習経路のパーソナライズに関する問題に対して,フレキシブルでスケーラブルなアプローチを導入する。 我々のモデルはグラフニューラルネットワークに基づく逐次レコメンデーションシステムである。 以上の結果から,小規模データ体制における適切なレコメンデーションを学習できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-10T18:16:04Z)
• Continual Learning by Modeling Intra-Class Variation [33.30614232534283]
  データやタスクがシーケンシャルに提示された場合、ニューラルネットワークはパフォーマンスが悪くなっていることが観察されている。 人間とは異なり、ニューラルネットワークは破滅的な忘れ込みに悩まされており、生涯学習することは不可能である。 本稿では,記憶に基づく連続学習について検討し,大惨な忘れ込みを避けるためには,表現空間の大規模な変動が不可欠であることを確認した。
  論文  参考訳（メタデータ） (2022-10-11T12:17:43Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Deep Reinforcement Learning for Adaptive Learning Systems [4.8685842576962095]
  学習者の潜在特性に基づいて,個別化学習計画の探索方法の問題点を定式化する。 最適な学習ポリシーを効果的に見つけることができるモデルフリーの深層強化学習アルゴリズムを適用した。 また,ニューラルネットワークを用いて学習者の学習過程をエミュレートする遷移モデル推定器を開発した。
  論文  参考訳（メタデータ） (2020-04-17T18:04:03Z)
• Meta-Meta Classification for One-Shot Learning [11.27833234287093]
  メタメタ分類(メタメタ分類)と呼ばれる,小さなデータ設定で学習する新しい手法を提案する。 このアプローチでは、学習者の集合を設計するために大量の学習問題を使用し、各学習者は高いバイアスと低い分散を持つ。 本研究では,一対一で一対一の分類課題に対するアプローチの評価を行い,従来のメタラーニングやアンサンブルアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-17T07:05:03Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。