論文の概要: Prompt Valuation Based on Shapley Values
- arxiv url: http://arxiv.org/abs/2312.15395v2
- Date: Mon, 16 Dec 2024 08:57:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:51:54.607080
- Title: Prompt Valuation Based on Shapley Values
- Title（参考訳）: 共有値に基づくプロンプト評価
- Authors: Hanxi Liu, Xiaokai Mao, Haocheng Xia, Jian Lou, Jinfei Liu, Kui Ren,
- Abstract要約: 大きな言語モデル(LLM)は、単に自然言語のプロンプトを提供することで、追加のトレーニングなしで新しいタスクを最適化する。
本稿では、Shapley値を用いてプロンプトの寄与を正確に定量化する。
本稿では,各プロンプトの寄与を効果的に識別し,定量化するため,シャープリー値を用いたプロンプトの有効性を検証する。
- 参考スコア（独自算出の注目度）: 12.53456269310386
- License:
- Abstract: Large language models (LLMs) excel on new tasks without additional training, simply by providing natural language prompts that demonstrate how the task should be performed. Prompt ensemble methods comprehensively harness the knowledge of LLMs while mitigating individual biases and errors and further enhancing performance. However, more prompts do not necessarily lead to better results, and not all prompts are beneficial. A small number of high-quality prompts often outperform many low-quality prompts. Currently, there is a lack of a suitable method for evaluating the impact of prompts on the results. In this paper, we utilize the Shapley value to fairly quantify the contributions of prompts, helping to identify beneficial or detrimental prompts, and potentially guiding prompt valuation in data markets. Through extensive experiments employing various ensemble methods and utility functions on diverse tasks, we validate the effectiveness of using the Shapley value method for prompts as it effectively distinguishes and quantifies the contributions of each prompt.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、タスクの実行方法を示す自然言語プロンプトを提供することで、追加のトレーニングなしで新しいタスクを最適化する。
プロンプトアンサンブル法はLLMの知識を包括的に活用し、個々のバイアスやエラーを軽減し、性能をさらに向上する。
しかし、より多くのプロンプトが必ずしもより良い結果をもたらすとは限らないし、すべてのプロンプトが有益であるとは限らない。
少数の高品質のプロンプトは、しばしば低品質のプロンプトよりも優れている。
現在、結果に対するプロンプトの影響を評価するための適切な方法が欠如している。
本稿では、Shapley値を用いて、プロンプトのコントリビューションを正確に定量化し、有益または有害なプロンプトの特定を支援し、データ市場における迅速な評価を導く可能性がある。
多様なタスクに対する様々なアンサンブル手法とユーティリティ関数を用いた広範囲な実験を通じて、各プロンプトの寄与を効果的に識別し定量化するため、プロンプトにShapley値法を用いることの有効性を検証した。
関連論文リスト
- QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳（メタデータ） (2024-08-20T03:06:48Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳（メタデータ） (2024-04-01T12:19:08Z) - Exploring Lottery Prompts for Pre-trained Language Models [46.66885465183664]
インスタンスレベルのプロンプトとその一般化可能性について検討する。
いずれの場合も、ほとんどの場合、PLMから正しい予測を誘導する宝くじプロンプトがある。
一部の強力な宝くじプロンプトは、トレーニングセット全体に対して高いパフォーマンスを持つ。
論文 参考訳（メタデータ） (2023-05-31T02:17:04Z) - Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts [7.208567411886273]
近年の研究では、自然言語のプロンプトが、二項文レベルの感情分類タスクにおいて、事前学習された言語モデルによって学習された知識を活用できることが示されている。
本研究の目的は、ゼロショット設定で与えられたタスクに対する高品質なプロンプトを見つけることである。
本研究は,二分文レベルの感情分類タスクにおいて,最上位のプロンプトが高品質で,基本プロンプトと少数ショット学習を用いて生成したプロンプトを著しく上回っていることを実証的に示す。
論文 参考訳（メタデータ） (2023-05-25T03:36:43Z) - Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good
movie, and a good prompt too? [84.91689960190054]
大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。
特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
論文 参考訳（メタデータ） (2022-12-20T18:47:13Z) - Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。
プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
論文 参考訳（メタデータ） (2022-12-08T02:21:47Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-05-25T07:50:31Z) - Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。
提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-18T17:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。