論文の概要: True Few-Shot Learning with Language Models
- arxiv url: http://arxiv.org/abs/2105.11447v1
- Date: Mon, 24 May 2021 17:55:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 15:33:20.772410
- Title: True Few-Shot Learning with Language Models
- Title(参考訳): 言語モデルによる真の少数ショット学習
- Authors: Ethan Perez, Douwe Kiela, Kyunghyun Cho
- Abstract要約: ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。
以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
- 参考スコア(独自算出の注目度): 78.42578316883271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained language models (LMs) perform well on many tasks even when
learning from a few examples, but prior work uses many held-out examples to
tune various aspects of learning, such as hyperparameters, training objectives,
and natural language templates ("prompts"). Here, we evaluate the few-shot
ability of LMs when such held-out examples are unavailable, a setting we call
true few-shot learning. We test two model selection criteria, cross-validation
and minimum description length, for choosing LM prompts and hyperparameters in
the true few-shot setting. On average, both marginally outperform random
selection and greatly underperform selection based on held-out examples.
Moreover, selection criteria often prefer models that perform significantly
worse than randomly-selected ones. We find similar results even when taking
into account our uncertainty in a model's true performance during selection, as
well as when varying the amount of computation and number of examples used for
selection. Overall, our findings suggest that prior work significantly
overestimated the true few-shot ability of LMs given the difficulty of few-shot
model selection.
- Abstract(参考訳): 事前訓練された言語モデル(LM)は、いくつかの例から学ぶ場合でも、多くのタスクでうまく機能するが、事前の作業では、ハイパーパラメータ、訓練目的、自然言語テンプレート(prompts)など、学習のさまざまな側面をチューニングするために、多くの保留例を使用している。
ここでは,そのような実例が利用できない場合のLMの少数ショット能力を評価し,これを真の少数ショット学習と呼ぶ。
2つのモデル選択基準(クロスバリデーションと最小記述長)をテストし、実数ショット設定でlmプロンプトとハイパーパラメータを選択する。
平均的に、両者はランダム選択を極端に上回り、ホールドアウト例に基づいて、非常に低パフォーマンスな選択を行う。
さらに、選択基準は、ランダムに選択されたモデルよりも著しく悪いモデルを好むことが多い。
選択中のモデルの真の性能の不確実性や,選択に使用する計算量やサンプル数の変化を考慮した場合においても,同様の結果が得られる。
全体として, 先行研究は, モデル選択の難しさから, lmsの真の少数ショット能力を大幅に過大評価したことが示唆された。
関連論文リスト
- GistScore: Learning Better Representations for In-Context Example
Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。
本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。
我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文 参考訳(メタデータ) (2023-11-16T06:28:05Z) - In-Context Learning with Iterative Demonstration Selection [34.44075737356436]
In-context Learning (ICL)は、数発のデモの選択に敏感であることが示されている。
反復デモ選択(IDS)は、多種多様であるが、テストサンプルと強く相関している例を反復的に選択する。
IDS は既存の ICL のデモ選択方法よりずっと優れています。
論文 参考訳(メタデータ) (2023-10-15T16:40:19Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T17:44:56Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。
モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。
5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2023-05-23T16:28:29Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳(メタデータ) (2021-09-16T03:08:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。