論文の概要: Trajectory-Based Meta-Learning for Out-Of-Vocabulary Word Embedding
Learning
- arxiv url: http://arxiv.org/abs/2102.12266v1
- Date: Wed, 24 Feb 2021 12:57:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 18:38:06.762692
- Title: Trajectory-Based Meta-Learning for Out-Of-Vocabulary Word Embedding
Learning
- Title(参考訳): 単語埋め込み学習のための軌跡に基づくメタラーニング
- Authors: Gordon Buck, Andreas Vlachos
- Abstract要約: 訓練コーパスに現れない語彙外(OOV)単語は、より小さな下流データに頻繁に現れる。
最近の研究は、oov埋め込み学習を数発回帰問題として定式化した。
モデルに依存しないメタラーニング(MAML)は、パラメータ更新に多数の勾配ステップを使用すると不安定であることが知られ、さらに悪化する。
本稿では,開始点と終了点だけでなく,学習プロセス全体の軌道を利用するメタ学習アルゴリズムであるLeapを提案する。
- 参考スコア(独自算出の注目度): 15.581515781839656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Word embedding learning methods require a large number of occurrences of a
word to accurately learn its embedding. However, out-of-vocabulary (OOV) words
which do not appear in the training corpus emerge frequently in the smaller
downstream data. Recent work formulated OOV embedding learning as a few-shot
regression problem and demonstrated that meta-learning can improve results
obtained. However, the algorithm used, model-agnostic meta-learning (MAML) is
known to be unstable and perform worse when a large number of gradient steps
are used for parameter updates. In this work, we propose the use of Leap, a
meta-learning algorithm which leverages the entire trajectory of the learning
process instead of just the beginning and the end points, and thus ameliorates
these two issues. In our experiments on a benchmark OOV embedding learning
dataset and in an extrinsic evaluation, Leap performs comparably or better than
MAML. We go on to examine which contexts are most beneficial to learn an OOV
embedding from, and propose that the choice of contexts may matter more than
the meta-learning employed.
- Abstract(参考訳): 単語埋め込み学習方法は、その埋め込みを正確に学ぶために単語の多数の発生を必要とします。
しかし、トレーニングコーパスに現れない語彙外単語(OOV)は、下流の小さなデータに頻繁に現れる。
最近の研究は、oov埋め込み学習を数発回帰問題として定式化し、メタラーニングが結果を改善することを実証した。
しかし、モデルに依存しないメタラーニング(MAML)アルゴリズムは、パラメータ更新に多数の勾配ステップを使用する場合、不安定であることが知られ、さらに悪化する。
本稿では,学習過程の軌跡全体を始点と終点に留まらず活用し,これら2つの問題を解消するメタラーニングアルゴリズムであるleapの利用を提案する。
OOV埋め込み学習データセットのベンチマーク実験および外部評価において、LeapはMAMLよりも相補的、あるいは優れた性能を発揮する。
我々は、OOVの埋め込みを学習する上で最も有益であるコンテキストについて検討し、採用するメタ学習よりもコンテキストの選択が重要であることを提案する。
関連論文リスト
- Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。
最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。
外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
論文 参考訳(メタデータ) (2024-11-01T07:05:03Z) - Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。
しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。
語彙定義意味論(vocabulary-defined semantics)を提案する。
論文 参考訳(メタデータ) (2024-01-29T14:29:48Z) - Learning to Learn for Few-shot Continual Active Learning [9.283518682371756]
継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。
連続学習の最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。
我々はメタラーニングを活用し,メタコンチネンタルアクティブラーニングと呼ばれる手法を提案する。
論文 参考訳(メタデータ) (2023-11-07T05:22:11Z) - Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。
本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文 参考訳(メタデータ) (2023-04-06T04:53:13Z) - Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。
機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。
メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
論文 参考訳(メタデータ) (2021-12-24T20:18:38Z) - Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。
抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文 参考訳(メタデータ) (2021-09-10T07:20:43Z) - Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。
メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。
これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2020-12-14T18:05:24Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳(メタデータ) (2020-10-01T15:59:31Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z) - Rethinking Few-Shot Image Classification: a Good Embedding Is All You
Need? [72.00712736992618]
メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。
追加の増量は自己蒸留によって達成できる。
我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
論文 参考訳(メタデータ) (2020-03-25T17:58:42Z) - Unraveling Meta-Learning: Understanding Feature Representations for
Few-Shot Tasks [55.66438591090072]
メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。
数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
論文 参考訳(メタデータ) (2020-02-17T03:18:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。