論文の概要: Reordering Examples Helps during Priming-based Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2106.01751v1
- Date: Thu, 3 Jun 2021 11:02:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 16:16:02.095429
- Title: Reordering Examples Helps during Priming-based Few-Shot Learning
- Title（参考訳）: プライミング型Few-Shot学習におけるサンプルの並べ替え
- Authors: Sawan Kumar, Partha Talukdar
- Abstract要約: PERO は 10 個の例から効率よく一般化できることを示す。
提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
- 参考スコア（独自算出の注目度）: 6.579039107070663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to learn from limited data, or few-shot learning, is a desirable
and often critical requirement for NLP systems. While many existing methods do
poorly at learning from a handful of examples, large pretrained language models
have recently been shown to be efficient few-shot learners. One approach to
few-shot learning, which does not require finetuning of model parameters, is to
augment the language model's input with priming text which is typically
constructed using task specific descriptions and examples. In this work, we
further explore priming-based few-shot learning, with focus on using examples
as prompts. We show that presenting examples in the right order is key for
generalization. We introduce PERO (Prompting with Examples in the Right Order),
where we formulate few-shot learning as search over the set of permutations of
the training examples. We show that PERO can learn to generalize efficiently
using as few as 10 examples, in contrast to existing approaches. While the
newline token is a natural choice for separating the examples in the prompt, we
show that learning a new separator token can potentially provide further gains
in performance. We demonstrate the effectiveness of the proposed method on the
tasks of sentiment classification, natural language inference and fact
retrieval. Finally, we analyze the learned prompts to reveal novel insights,
including the idea that two training examples in the right order alone can
provide competitive performance for sentiment classification and natural
language inference.
- Abstract（参考訳）: 限られたデータや数ショットの学習から学ぶ能力は、NLPシステムにとって望ましい、しばしば重要な要件である。
多くの既存手法はいくつかの例から学ぶのが苦手だが、最近、大規模な事前訓練された言語モデルは効率的な数ショット学習者であることが示されている。
モデルパラメータの微調整を必要としない少数ショット学習のアプローチの1つは、通常タスク固有の記述や例を使って構築されるプライミングテキストで言語モデルの入力を強化することである。
本研究では,サンプルをプロンプトとして用いることに着目し,プライミングベースのマイナショット学習をさらに探究する。
正しい順序で例を示すことが一般化の鍵であることを示す。
PERO(Prompting with Examples in the Right Order)を導入し、トレーニング例の変節集合を探索するために、数発の学習を定式化する。
PEROは,従来のアプローチとは対照的に,わずか10例の例で効率よく一般化できることを示す。
newlineトークンはプロンプトの例を分けるための自然な選択ですが、新しいセパレータトークンを学ぶことでパフォーマンスがさらに向上する可能性があることを示します。
提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
最後に,2つの学習例を適切な順序で学習することで,感情分類と自然言語推論に競争力を与えるというアイデアを含む,新たな知見を明らかにするための学習プロンプトを分析した。
関連論文リスト
- Large Language Models Prompting With Episodic Memory [53.8690170372303]
本稿では,POEM(PrOmpting with Episodic Memory)を提案する。
テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。
その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
論文 参考訳（メタデータ） (2024-08-14T11:19:28Z) - Understanding prompt engineering may not require rethinking
generalization [56.38207873589642]
言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。
この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
論文 参考訳（メタデータ） (2023-10-06T00:52:48Z) - EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。
テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。
大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
論文 参考訳（メタデータ） (2023-05-24T01:40:57Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳（メタデータ） (2023-05-23T20:15:56Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Structured Prompting: Scaling In-Context Learning to 1,000 Examples [78.41281805608081]
長さ制限を破り、文脈内学習を数千の例に拡張する構造化プロンプトを導入する。
具体的には、デモ例は、適切に設計された位置埋め込みで別々にエンコードされ、その後、再スケールされた注意機構を使用してテスト例に共同で出席する。
論文 参考訳（メタデータ） (2022-12-13T16:31:21Z) - Improving Few-Shot Performance of Language Models via Nearest Neighbor
Calibration [12.334422701057674]
In-context Learning のための近辺校正フレームワークを提案する。
インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。
テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
論文 参考訳（メタデータ） (2022-12-05T12:49:41Z) - Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。
提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-18T17:03:25Z) - Learning To Retrieve Prompts for In-Context Learning [33.176481861880724]
本稿では,注釈付きデータとLMを用いたテキスト内学習のためのプロンプトを効率よく検索する手法を提案する。
言語発話を意味表現にマッピングする3つのシーケンス・ツー・シーケンスタスクに対するアプローチを評価する。
論文 参考訳（メタデータ） (2021-12-16T05:17:56Z) - Learning by Examples Based on Multi-level Optimization [12.317568257671427]
我々はLBE(Learning By Examples)と呼ばれる新しい学習手法を提案する。
提案手法では,クエリサンプルに類似したトレーニングサンプルの集合を自動的に検索し,検索したサンプルのクラスラベルを用いてクエリサンプルのラベルを予測する。
様々なベンチマークにおいて,教師付き学習と少数ショット学習の両方において,本手法の有効性を実証する実験を行った。
論文 参考訳（メタデータ） (2021-09-22T16:33:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。