論文の概要: Active Learning Principles for In-Context Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2305.14264v2
• Date: Wed, 22 Nov 2023 10:22:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 19:05:15.460530
• Title: Active Learning Principles for In-Context Learning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた文脈内学習のためのアクティブラーニング原則
• Authors: Katerina Margatina and Timo Schick and Nikolaos Aletras and Jane Dwivedi-Yu
• Abstract要約: 本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
• 参考スコア（独自算出の注目度）: 65.09970281795769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable advancements in large language models (LLMs) have significantly enhanced the performance in few-shot learning settings. By using only a small number of labeled examples, referred to as demonstrations, LLMs can effectively grasp the task at hand through in-context learning. However, the process of selecting appropriate demonstrations has received limited attention in prior work. This paper addresses the issue of identifying the most informative demonstrations for few-shot learning by approaching it as a pool-based Active Learning (AL) problem over a single iteration. Our objective is to investigate how AL algorithms can serve as effective demonstration selection methods for in-context learning. We compare various standard AL algorithms based on uncertainty, diversity, and similarity, and consistently observe that the latter outperforms all other methods, including random sampling. Notably, uncertainty sampling, despite its success in conventional supervised learning scenarios, performs poorly in this context. Our extensive experimentation involving a diverse range of GPT and OPT models across $24$ classification and multi-choice tasks, coupled with thorough analysis, unambiguously demonstrates that in-context example selection through AL prioritizes high-quality examples that exhibit low uncertainty and bear similarity to the test examples.
• Abstract（参考訳）: 大規模言語モデル(LLM)の顕著な進歩は、数ショットの学習環境での性能を大幅に向上させた。 デモと呼ばれる少数のラベル付き例を使用することで、LLMはコンテキスト内学習を通じて、手元のタスクを効果的に把握することができる。 しかし、事前の作業では、適切なデモンストレーションを選択するプロセスに注意が向けられている。 本稿では,一反復でプールベースのアクティブラーニング(AL)問題としてアプローチすることで,数発の学習において最も有益な実演を識別する問題に対処する。 本研究の目的は,alアルゴリズムがコンテキスト内学習における効果的な実演選択手法としてどのように役立つかを検討することである。 我々は、不確実性、多様性、類似性に基づく様々な標準ALアルゴリズムを比較し、後者がランダムサンプリングを含む他の手法よりも優れていることを一貫して観察する。 特に、従来の教師付き学習シナリオの成功にもかかわらず、この文脈では不確実なサンプリングが不十分である。 広範にわたるGPTモデルとOPTモデルによる2,4ドルの分類と複数選択タスクの多種多様な実験と、徹底的な分析により、ALによる文脈内サンプル選択が、不確実性の低い高品質な例を優先し、テスト例と類似性を持つことを示した。

関連論文リスト

• Comparative Analysis of Demonstration Selection Algorithms for LLM In-Context Learning [18.58278188791548]
  コンテキスト内学習は、LLM(Large Language Models)が追加のトレーニングなしで新しいタスクを適応するのに役立ちます。 提案された実演選択アルゴリズムにもかかわらず、効率と有効性はまだ不明である。 この明快さの欠如は、これらのアルゴリズムを現実世界のシナリオに適用することを困難にしている。
  論文  参考訳（メタデータ） (2024-10-30T15:11:58Z)
• Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
  適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。 テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。 GOとSALの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-12T23:27:46Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• Learning New Tasks from a Few Examples with Soft-Label Prototypes [18.363177410917597]
  ソフトラベルのプロトタイプ(SLP)に基づく新しい数ショット学習手法を提案する。 これまでにないNLPタスク(4,8,16)の学習に重点を置いている。 このデータ・リーン・セッティングにおけるテスト作業の大部分において,本手法が優れた性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2022-10-31T16:06:48Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。