論文の概要: Prompt position really matters in few-shot and zero-shot NLU tasks
- arxiv url: http://arxiv.org/abs/2305.14493v2
- Date: Sun, 8 Oct 2023 18:45:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 12:12:53.711937
- Title: Prompt position really matters in few-shot and zero-shot NLU tasks
- Title(参考訳): ゼロショットnluタスクにおけるプロンプトポジションの重要性
- Authors: Junyu Mao and Stuart E. Middleton and Mahesan Niranjan
- Abstract要約: 我々は、自然言語理解タスクにおいて、迅速な位置選択の日時まで、最も包括的な分析を行う。
先行研究で用いられるプロンプト位置は、ゼロショット設定と少数ショット設定の両方において、しばしば準最適である。
- 参考スコア(独自算出の注目度): 2.96475911944551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt-based models have made remarkable advancements in the fields of
zero-shot and few-shot learning, attracting a lot of attention from
researchers. Developing an effective prompt template plays a critical role.
However, prior studies have mainly focused on prompt vocabulary selection or
embedding initialization with the reserved prompt position fixed. In this
empirical study, we conduct the most comprehensive analysis to date of prompt
position option for natural language understanding tasks. Our findings quantify
the substantial impact prompt position has on model performance. We observe
that the prompt position used in prior studies is often sub-optimal for both
zero-shot and few-shot settings. These findings suggest prompt position
optimisation as an interesting research direction alongside the existing focus
on prompt engineering.
- Abstract(参考訳): プロンプトベースのモデルはゼロショット学習と少数ショット学習の分野で著しく進歩し、研究者から多くの注目を集めている。
効果的なプロンプトテンプレートの開発が重要な役割を果たす。
しかし、先行研究は主に、予備的なプロンプト位置を固定した迅速な語彙選択や埋め込み初期化に焦点を当てている。
本実験では,自然言語理解タスクにおいて,即時位置選択の現在までの最も包括的な分析を行う。
本研究は,モデル性能に及ぼすプロンプト位置の影響を定量化する。
先行研究で用いられるプロンプト位置は、ゼロショットと少数ショットの両方に最適化されることが多い。
これらの知見は、迅速な位置最適化を、既存のプロンプトエンジニアリングに焦点を当てた興味深い研究方向として示唆している。
関連論文リスト
- Position Engineering: Boosting Large Language Models through Positional Information Manipulation [11.289417429037563]
位置工学と呼ばれる新しい手法を導入し,大規模言語モデルをより効率的にガイドする方法を提案する。
LLMに提供されるテキストを変更するのにかなりの労力を要するプロンプトエンジニアリングとは異なり、位置エンジニアリングは単にテキスト自体を変更することなくプロンプト内の位置情報を変更するだけである。
論文 参考訳(メタデータ) (2024-04-17T10:00:56Z) - Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。
近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。
本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
論文 参考訳(メタデータ) (2024-04-01T19:04:17Z) - On the Role of Attention in Prompt-tuning [90.97555030446563]
本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。
ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。
また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
論文 参考訳(メタデータ) (2023-06-06T06:23:38Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳(メタデータ) (2022-10-05T17:05:56Z) - MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。
大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
論文 参考訳(メタデータ) (2022-09-23T09:01:05Z) - Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation
with Large Language Models [116.25562358482962]
最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。
PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
論文 参考訳(メタデータ) (2022-08-16T17:17:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。