論文の概要: Finding Supporting Examples for In-Context Learning

• arxiv url: http://arxiv.org/abs/2302.13539v1
• Date: Mon, 27 Feb 2023 06:32:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 16:42:59.880251
• Title: Finding Supporting Examples for In-Context Learning
• Title（参考訳）: インテクスト学習支援事例の発見
• Authors: Xiaonan Li, Xipeng Qiu
• Abstract要約: In-context Learningは、言語モデルがいくつかの例を観察して、テスト入力の予測を直接出力する新しい学習パラダイムである。 従来の研究では、コンテキスト内学習が提案した例に敏感であることが示されており、ランダムにサンプル化した例では、かなり不安定な性能を示している。 本稿では,言語モデルのフィードバックに基づいて情報的サンプルを選択するための新しい指標を提案し,プログレッシブフィルタリング戦略を提案する。
• 参考スコア（独自算出の注目度）: 54.8981263565611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning is a new learning paradigm where a language model observes a few examples and then straightly outputs the test input's prediction. Previous works have shown that in-context learning is sensitive to the provided examples and randomly sampled examples show significantly unstable performance. In this paper, we propose to find ``supporting examples'' for in-context learning: Given the training dataset, we need to select one permutation of a few examples, which are informative for the task's in-context learning and lead to superior performance. Although in traditional gradient-based learning, e.g., fine-tuning, there are numerous methods to find a ``coreset'' from the entire dataset, they are sub-optimal and not suitable for this problem since in-context learning occurs in the language model's inference without gradients or parameter updates. Additionally, the strong dependence among in-context examples makes this problem an NP-hard combinatorial optimization problem and enumerating all possible permutations is infeasible. Hence we propose a two-stage method to tackle this challenge. First we propose a novel metric to select informative examples based on the language model's feedback, with a progressive filtering strategy. And then we propose a diversity-guided beam search method to refine and evaluate the selected examples, iteratively. The experimental results show our method significantly outperforms a wide range of baselines, and further analyses show the effectiveness of our method and shed light on the properties of supporting examples and in-context learning.
• Abstract（参考訳）: In-context Learningは、言語モデルがいくつかの例を観察し、テスト入力の予測を直接出力する新しい学習パラダイムである。 これまでの研究では、コンテキスト内学習は提供された例に敏感であり、ランダムにサンプルされた例は著しく不安定なパフォーマンスを示している。 本稿では,コンテキスト内学習のための ``supporting examples'' を見つけることを提案する。 トレーニングデータセットが与えられた場合,タスクのコンテキスト内学習に役立ち,優れたパフォーマンスを実現するための,いくつかの例の順列をひとつ選択する必要があります。 従来の勾配に基づく学習(例えば微調整)では、データセット全体から ``coreset'' を見つける方法は数多く存在するが、勾配やパラメータの更新なしに言語モデルの推論でコンテキスト内学習が行われるため、その問題には適していない。 さらに、in-contextサンプル間の強い依存により、この問題はnp-hard combinatorial optimization problemとなり、すべての可能な置換を列挙することは不可能である。 そこで本稿では,この問題に対処するための2段階の手法を提案する。 まず, プログレッシブフィルタリング戦略を用いて, 言語モデルのフィードバックに基づいて, 有意な例を選択するための新しい指標を提案する。 そして,選択したサンプルを精錬し,反復的に評価するための多様性誘導ビーム探索法を提案する。 実験の結果,本手法は広い範囲のベースラインを上回っており,さらに解析した結果,提案手法の有効性が示され,サンプルとインコンテキスト学習の特性に光を当てることができた。

関連論文リスト

• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis [7.458853474864602]
  アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。 近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。 本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-28T10:39:10Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Designing Informative Metrics for Few-Shot Example Selection [14.961505860372492]
  本稿では,複雑性に基づく逐次タギングタスクのプロンプト選択手法を提案する。 このアプローチは、サンプルの選択専用のモデルのトレーニングを避ける。 文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。
  論文  参考訳（メタデータ） (2024-03-06T17:11:38Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• IDEAL: Influence-Driven Selective Annotations Empower In-Context Learners in Large Language Models [66.32043210237768]
  本稿では,影響駆動型選択的アノテーション手法を提案する。 アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。 様々なベンチマークで提案手法の優位性を確認する実験を行った。
  論文  参考訳（メタデータ） (2023-10-16T22:53:54Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。