論文の概要: Comparative Analysis of Demonstration Selection Algorithms for LLM In-Context Learning

• arxiv url: http://arxiv.org/abs/2410.23099v1
• Date: Wed, 30 Oct 2024 15:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:13.929127
• Title: Comparative Analysis of Demonstration Selection Algorithms for LLM In-Context Learning
• Title（参考訳）: LLMインコンテキスト学習のためのデモ選択アルゴリズムの比較解析
• Authors: Dong Shu, Mengnan Du,
• Abstract要約: コンテキスト内学習は、LLM(Large Language Models)が追加のトレーニングなしで新しいタスクを適応するのに役立ちます。 提案された実演選択アルゴリズムにもかかわらず、効率と有効性はまだ不明である。 この明快さの欠如は、これらのアルゴリズムを現実世界のシナリオに適用することを困難にしている。
• 参考スコア（独自算出の注目度）: 18.58278188791548
• License:
• Abstract: In-context learning can help Large Language Models (LLMs) to adapt new tasks without additional training. However, this performance heavily depends on the quality of the demonstrations, driving research into effective demonstration selection algorithms to optimize this process. These algorithms assist users in selecting the best $k$ input-label pairs (demonstration examples) based on a given test input, enabling LLMs to in-context learn the relationship between the provided examples and the test inputs. Despite all the proposed demonstration selection algorithms, their efficiency and effectiveness remain unclear. This lack of clarity make it difficult to apply these algorithms in real-world scenarios and poses challenges for future research aimed at developing improved methods. This paper revisits six proposed algorithms, evaluating them on five datasets from both efficiency and effectiveness perspectives. Our experiments reveal significant variations in algorithm performance across different tasks, with some methods struggling to outperform random selection in certain scenarios. We also find that increasing the number of demonstrations does not always lead to better performance, and that there are often trade-offs between accuracy and computational efficiency. Our code is available at https://github.com/Tizzzzy/Demonstration_Selection_Overview.
• Abstract（参考訳）: コンテキスト内学習は、LLM(Large Language Models)が追加のトレーニングなしで新しいタスクを適応するのに役立ちます。 しかし、この性能は実演の質に大きく依存しており、このプロセスを最適化するための効果的な実演選択アルゴリズムの研究を推進している。 これらのアルゴリズムは、与えられたテスト入力に基づいて、ユーザが最高の$k$の入力ラベルペア(デモレーション例)を選択するのを助ける。 提案されたすべてのデモ選択アルゴリズムにもかかわらず、その効率性と有効性は未だ不明である。 このような明確さの欠如は、これらのアルゴリズムを現実のシナリオに適用することは困難であり、改善された手法の開発を目的とした将来の研究に課題を提起する。 本稿では、6つの提案アルゴリズムを再検討し、効率性と有効性の両方の観点から5つのデータセットで評価する。 提案手法は,特定のシナリオにおいてランダム選択を上回りにくい手法で,様々なタスクにまたがるアルゴリズム性能の有意なばらつきを明らかにした。 また,実演数の増加が必ずしも性能の向上につながるとは限らないこと,精度と計算効率のトレードオフがしばしばあること,などが分かる。 私たちのコードはhttps://github.com/Tizzzzy/Demonstration_Selection_Overview.comから入手可能です。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Algorithm Selection for Deep Active Learning with Imbalanced Datasets [11.902019233549474]
  アクティブな学習は、ディープネットワークのトレーニングに必要なラベル付きサンプルの数を減らすことを目的としている。 アクティブな学習戦略が与えられたアプリケーションでうまく機能するか、どれが最善であるかを事前に知るのは難しい。 深層能動学習のための適応型アルゴリズム選択手法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T19:59:49Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Probabilistic Active Learning for Active Class Selection [3.6471065658293043]
  機械学習において、アクティブクラス選択(ACS)アルゴリズムは、クラスを積極的に選択し、そのクラスのインスタンスを提供することをオラクルに依頼することを目的としている。 本稿では,ACS問題を擬似インスタンスを導入して能動的学習タスクに変換するアルゴリズム(PAL-ACS)を提案する。
  論文  参考訳（メタデータ） (2021-08-09T09:20:19Z)
• Towards Understanding the Behaviors of Optimal Deep Active Learning Algorithms [19.65665942630067]
  アクティブラーニング(AL)アルゴリズムは、モデルがデータ選択プロセスを導くため、より少ないデータでより良いパフォーマンスを達成できます。 alの最適形状についてはほとんど研究されていないため、研究者たちはモデルがどこが不足しているかを理解するのに役立つだろう。 我々は,この最適オラクルを探索し,いくつかのタスクで解析するシミュレーションアニーリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-29T22:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。