論文の概要: Context-Aware Meta-Learning
- arxiv url: http://arxiv.org/abs/2310.10971v1
- Date: Tue, 17 Oct 2023 03:35:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 17:42:55.733757
- Title: Context-Aware Meta-Learning
- Title(参考訳): 文脈認識メタラーニング
- Authors: Christopher Fifty, Dennis Duan, Ronald G. Junkins, Ehsan Amid, Jure
Leskovec, Christopher R\'e, Sebastian Thrun
- Abstract要約: 本研究では,大規模言語モデルのエミュレートを行うメタ学習アルゴリズムを提案する。
我々のアプローチは、11のメタラーニングベンチマークのうち8つで最先端のアルゴリズムであるP>M>Fを上回り、一致します。
- 参考スコア(独自算出の注目度): 54.70551739697928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models like ChatGPT demonstrate a remarkable capacity to learn
new concepts during inference without any fine-tuning. However, visual models
trained to detect new objects during inference have been unable to replicate
this ability, and instead either perform poorly or require meta-training and/or
fine-tuning on similar objects. In this work, we propose a meta-learning
algorithm that emulates Large Language Models by learning new visual concepts
during inference without fine-tuning. Our approach leverages a frozen
pre-trained feature extractor, and analogous to in-context learning, recasts
meta-learning as sequence modeling over datapoints with known labels and a test
datapoint with an unknown label. On 8 out of 11 meta-learning benchmarks, our
approach -- without meta-training or fine-tuning -- exceeds or matches the
state-of-the-art algorithm, P>M>F, which is meta-trained on these benchmarks.
- Abstract(参考訳): ChatGPTのような大規模言語モデルは、微調整なしで推論中に新しい概念を学ぶ能力を示す。
しかしながら、推論中に新しいオブジェクトを検出するように訓練されたビジュアルモデルは、この機能を再現することができず、代わりにパフォーマンスの悪いか、似たようなオブジェクトのメタトレーニングと/または微調整を必要とする。
本研究では,推論中,微調整せずに新しい視覚概念を学習することで,大規模言語モデルにエミュレートするメタラーニングアルゴリズムを提案する。
提案手法では,凍結した事前学習された特徴抽出器を利用して,未知のラベルを持つデータポイントと未知のラベルを持つテストデータポイントを用いて,メタラーニングをシーケンスモデリングとして再キャストする。
11のメタラーニングベンチマークのうち8つでは、メタトレーニングや微調整なしのアプローチが、これらのベンチマークでメタトレーニングされた最先端アルゴリズムであるP>M>Fを超え、一致します。
関連論文リスト
- Meta Learning to Bridge Vision and Language Models for Multimodal
Few-Shot Learning [38.37682598345653]
視覚モデルと言語モデルとのギャップを埋めるために,マルチモーダルなメタ学習手法を導入する。
我々は,凍結した大規模視覚と言語モデルを効率的にブリッジするためにメタラーナーとして機能するメタマッパーネットワークを定義する。
我々は,最近提案されたマルチモーダル・スショット・ベンチマークに対するアプローチを評価し,新しい視覚概念を単語に結合する速度を計測した。
論文 参考訳(メタデータ) (2023-02-28T17:46:18Z) - General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。
一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。
本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
論文 参考訳(メタデータ) (2022-12-08T18:30:22Z) - Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。
本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
論文 参考訳(メタデータ) (2022-10-17T11:09:35Z) - Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。
機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。
メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
論文 参考訳(メタデータ) (2021-12-24T20:18:38Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳(メタデータ) (2020-03-17T13:40:00Z) - Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。
我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
論文 参考訳(メタデータ) (2020-03-09T20:06:36Z) - Unraveling Meta-Learning: Understanding Feature Representations for
Few-Shot Tasks [55.66438591090072]
メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。
数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
論文 参考訳(メタデータ) (2020-02-17T03:18:45Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳(メタデータ) (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。