論文の概要: True Few-Shot Learning with Language Models

• arxiv url: http://arxiv.org/abs/2105.11447v1
• Date: Mon, 24 May 2021 17:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:33:20.772410
• Title: True Few-Shot Learning with Language Models
• Title（参考訳）: 言語モデルによる真の少数ショット学習
• Authors: Ethan Perez, Douwe Kiela, Kyunghyun Cho
• Abstract要約: ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
• 参考スコア（独自算出の注目度）: 78.42578316883271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (LMs) perform well on many tasks even when learning from a few examples, but prior work uses many held-out examples to tune various aspects of learning, such as hyperparameters, training objectives, and natural language templates ("prompts"). Here, we evaluate the few-shot ability of LMs when such held-out examples are unavailable, a setting we call true few-shot learning. We test two model selection criteria, cross-validation and minimum description length, for choosing LM prompts and hyperparameters in the true few-shot setting. On average, both marginally outperform random selection and greatly underperform selection based on held-out examples. Moreover, selection criteria often prefer models that perform significantly worse than randomly-selected ones. We find similar results even when taking into account our uncertainty in a model's true performance during selection, as well as when varying the amount of computation and number of examples used for selection. Overall, our findings suggest that prior work significantly overestimated the true few-shot ability of LMs given the difficulty of few-shot model selection.
• Abstract（参考訳）: 事前訓練された言語モデル(LM)は、いくつかの例から学ぶ場合でも、多くのタスクでうまく機能するが、事前の作業では、ハイパーパラメータ、訓練目的、自然言語テンプレート(prompts)など、学習のさまざまな側面をチューニングするために、多くの保留例を使用している。 ここでは,そのような実例が利用できない場合のLMの少数ショット能力を評価し,これを真の少数ショット学習と呼ぶ。 2つのモデル選択基準(クロスバリデーションと最小記述長)をテストし、実数ショット設定でlmプロンプトとハイパーパラメータを選択する。 平均的に、両者はランダム選択を極端に上回り、ホールドアウト例に基づいて、非常に低パフォーマンスな選択を行う。 さらに、選択基準は、ランダムに選択されたモデルよりも著しく悪いモデルを好むことが多い。 選択中のモデルの真の性能の不確実性や,選択に使用する計算量やサンプル数の変化を考慮した場合においても,同様の結果が得られる。 全体として, 先行研究は, モデル選択の難しさから, lmsの真の少数ショット能力を大幅に過大評価したことが示唆された。

関連論文リスト

• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• What Makes Good Few-shot Examples for Vision-Language Models? [29.620987070958318]
  代表性(REPRE)とガウス的モンテカルロ(Montecarlo)の2つの革新的な選択方法を紹介する。 その結果,REPREとモンテカルロは,ランダム選択とALベースの戦略の両方を,数ショットのトレーニングシナリオで大きく上回っていることがわかった。 この研究は、これらのインスタンス選択法はモデルに依存しないものであり、幅広い数発の訓練手法に多彩な拡張をもたらすことを強調している。
  論文  参考訳（メタデータ） (2024-05-22T11:03:33Z)
• Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
  適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。 テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。 GOとSALの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-12T23:27:46Z)
• In-Context Learning with Iterative Demonstration Selection [32.62104857810135]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) を介して強力な数ショット学習能力を示した。 ICLの性能は、数発のデモの選択に非常に敏感であることが示されている。 両次元のメリットを活用するために,反復デモ選択(IDS)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T16:40:19Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
  Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。 モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。 5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T16:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。