論文の概要: More Samples or More Prompt Inputs? Exploring Effective In-Context
Sampling for LLM Few-Shot Prompt Engineering
- arxiv url: http://arxiv.org/abs/2311.09782v1
- Date: Thu, 16 Nov 2023 11:02:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:57:57.794779
- Title: More Samples or More Prompt Inputs? Exploring Effective In-Context
Sampling for LLM Few-Shot Prompt Engineering
- Title(参考訳): より多くのサンプルか、もっとプロンプト入力か?
LLMFew-Shot Prompt Engineeringのための効果的なインコンテキストサンプリングの探索
- Authors: Bingsheng Yao, Guiming Chen, Ruishi Zou, Yuxuan Lu, Jiachen Li, Shao
Zhang, Sijia Liu, James Hendler, Dakuo Wang
- Abstract要約: In-Context Smpling (ICS) を提案し、複数のICLプロンプト入力の構成を最適化することにより、最も確実な予測結果を生成する。
アブレーション研究は、多様性に基づくICS戦略がLCMの性能をさらに向上させる可能性を示唆している。
- 参考スコア(独自算出の注目度): 34.767637344329835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While most existing works on LLM prompt-engineering focus only on how to
select a better set of data samples inside one single prompt input (In-Context
Learning or ICL), why can't we design and leverage multiple prompt inputs
together to further improve the LLM performance? In this work, we propose
In-Context Sampling (ICS), a low-resource LLM prompt-engineering technique to
produce the most confident prediction results by optimizing the construction of
multiple ICL prompt inputs. Extensive experiments with two SOTA LLMs (FlanT5-XL
and Mistral-7B) on three NLI datasets (e-SNLI, Multi-NLI, and ANLI) illustrate
that ICS can consistently enhance LLM's prediction performance and confidence.
An ablation study suggests that a diversity-based ICS strategy may further
improve LLM's performance, which sheds light on a new yet promising future
research direction.
- Abstract(参考訳): LLMのプロンプトエンジニアリングは、単一のプロンプトインプット(In-Context Learning や ICL)の中で、より優れたデータサンプルを選択する方法のみに焦点を当てていますが、複数のプロンプトインプットを一緒に設計し、活用してLLMのパフォーマンスをさらに向上させることはできないでしょうか?
In-Context Smpling (ICS) は低リソースのLCMプロンプトエンジニアリング技術であり、複数のICLプロンプト入力を最適化することにより最も確実な予測結果を生成する。
2つのSOTA LLM(FlanT5-XLとMistral-7B)による3つのNLIデータセット(e-SNLI、Multi-NLI、ANLI)による大規模な実験により、ICSはLLMの予測性能と信頼性を一貫して向上できることが示された。
アブレーション研究では、多様性に基づくICS戦略により、LCMのパフォーマンスがさらに向上し、将来有望な新たな研究方向性に光を当てることが示唆されている。
関連論文リスト
- An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。
最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。
そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
論文 参考訳(メタデータ) (2024-02-13T23:25:04Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳(メタデータ) (2023-10-18T05:13:47Z) - Towards LLM-based Fact Verification on News Claims with a Hierarchical
Step-by-Step Prompting Method [9.099277246096861]
本稿では,大規模事前学習型言語モデル (LLM) とコンテキスト内学習 (ICL) を併用して,ニュースクレームの検証を行う。
階層的なステップ・バイ・ステップ(HiSS)のプロンプト手法を導入し,LLMに対して複数のサブ文を分割し,複数の問合せを段階的に検証する手法を提案する。
2つの公開誤報データセットの実験結果から、HiSSのプロンプトは最先端の完全教師付きアプローチと強力な数発のICL対応ベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2023-09-30T08:33:04Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。
我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。
ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
論文 参考訳(メタデータ) (2023-08-23T16:32:54Z) - Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models [12.708117108874083]
大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。
従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。
本稿では,本論文の総合的研究について述べる。
自動コード生成シナリオにおけるLLMのためのPEFT技術。
論文 参考訳(メタデータ) (2023-08-21T04:31:06Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM
Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。
本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。