論文の概要: General-Purpose In-Context Learning by Meta-Learning Transformers
- arxiv url: http://arxiv.org/abs/2212.04458v2
- Date: Tue, 9 Jan 2024 13:38:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 20:53:25.400567
- Title: General-Purpose In-Context Learning by Meta-Learning Transformers
- Title（参考訳）: メタラーニングトランスフォーマーによる汎用インコンテキスト学習
- Authors: Louis Kirsch, James Harrison, Jascha Sohl-Dickstein, Luke Metz
- Abstract要約: 本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。
一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。
本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
- 参考スコア（独自算出の注目度）: 45.63069059498147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern machine learning requires system designers to specify aspects of the
learning pipeline, such as losses, architectures, and optimizers.
Meta-learning, or learning-to-learn, instead aims to learn those aspects, and
promises to unlock greater capabilities with less manual effort. One
particularly ambitious goal of meta-learning is to train general-purpose
in-context learning algorithms from scratch, using only black-box models with
minimal inductive bias. Such a model takes in training data, and produces
test-set predictions across a wide range of problems, without any explicit
definition of an inference model, training loss, or optimization algorithm. In
this paper we show that Transformers and other black-box models can be
meta-trained to act as general-purpose in-context learners. We characterize
transitions between algorithms that generalize, algorithms that memorize, and
algorithms that fail to meta-train at all, induced by changes in model size,
number of tasks, and meta-optimization. We further show that the capabilities
of meta-trained algorithms are bottlenecked by the accessible state size
(memory) determining the next prediction, unlike standard models which are
thought to be bottlenecked by parameter count. Finally, we propose practical
interventions such as biasing the training distribution that improve the
meta-training and meta-generalization of general-purpose in-context learning
algorithms.
- Abstract（参考訳）: 現代の機械学習では、システム設計者は損失、アーキテクチャ、オプティマイザといった学習パイプラインの側面を特定する必要がある。
メタラーニング(learning-to-learn)は、その代わりに、これらの側面を学ぶことを目的としている。
メタラーニングの特に野心的な目標は、最小限のインダクティブバイアスを持つブラックボックスモデルのみを使用して、汎用のインコンテキスト学習アルゴリズムをスクラッチからトレーニングすることだ。
このようなモデルはトレーニングデータを取り、推論モデルやトレーニング損失、最適化アルゴリズムを明確に定義することなく、幅広い問題にわたってテストセットの予測を生成する。
本稿では、トランスフォーマーやその他のブラックボックスモデルが、汎用的なインコンテキスト学習者として機能するようにメタトレーニングできることを示す。
我々は、一般化するアルゴリズム、記憶するアルゴリズム、およびモデルサイズ、タスク数、およびメタ最適化の変化によって引き起こされる全くメタトレーニングしないアルゴリズム間の遷移を特徴付ける。
さらに,メタ学習アルゴリズムの能力は,パラメータ数でボトルネックになると考えられる標準モデルとは異なり,次の予測を決定するアクセス可能な状態サイズ(メモリ)によってボトルネックとなることを示した。
最後に,汎用学習アルゴリズムのメタトレーニングとメタ一般化を改善するトレーニング分布の偏りなど,実践的な介入を提案する。
関連論文リスト
- Learning an Explicit Hyperparameter Prediction Function Conditioned on
Tasks [62.63852372239708]
メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。
我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。
このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
論文 参考訳（メタデータ） (2021-07-06T04:05:08Z) - A Brief Summary of Interactions Between Meta-Learning and
Self-Supervised Learning [0.0]
本稿ではメタラーニングと自己指導型学習の関連について概説する。
メタラーニングと自己教師付き学習モデルの統合は,モデル一般化能力の向上に最も貢献できることを示す。
論文 参考訳（メタデータ） (2021-03-01T08:31:28Z) - B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic
Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。
分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文 参考訳（メタデータ） (2021-01-01T09:19:48Z) - Modeling and Optimization Trade-off in Meta-learning [23.381986209234164]
メタラーニングにおいて、正確なモデリングと容易さのトレードオフを導入し、厳密に定義する。
我々はMAMLを代表的メタラーニングアルゴリズムとして、一般的な非リスク関数と線形回帰のトレードオフを理論的に特徴づける。
また,メタ強化学習ベンチマークのトレードオフを実証的に解決する。
論文 参考訳（メタデータ） (2020-10-24T15:32:08Z) - Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。
相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文 参考訳（メタデータ） (2020-09-07T16:47:30Z) - A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [0.0]
メタラーニングはラーニング・トゥ・ラーン(Learning-to-Lern)とも呼ばれる。
メタラーニング手法は,ブラックボックスメタラーニング,メトリックベースメタラーニング,階層型メタラーニング,ベイズ的メタラーニングフレームワークである。
論文 参考訳（メタデータ） (2020-04-17T03:11:08Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z) - Unraveling Meta-Learning: Understanding Feature Representations for
Few-Shot Tasks [55.66438591090072]
メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。
数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
論文 参考訳（メタデータ） (2020-02-17T03:18:45Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳（メタデータ） (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。