論文の概要: Structured Prompting: Scaling In-Context Learning to 1,000 Examples

• arxiv url: http://arxiv.org/abs/2212.06713v1
• Date: Tue, 13 Dec 2022 16:31:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 14:28:16.735082
• Title: Structured Prompting: Scaling In-Context Learning to 1,000 Examples
• Title（参考訳）: structured prompting: コンテキスト内学習の1000例へのスケールアップ
• Authors: Yaru Hao, Yutao Sun, Li Dong, Zhixiong Han, Yuxian Gu, Furu Wei
• Abstract要約: 長さ制限を破り、文脈内学習を数千の例に拡張する構造化プロンプトを導入する。 具体的には、デモ例は、適切に設計された位置埋め込みで別々にエンコードされ、その後、再スケールされた注意機構を使用してテスト例に共同で出席する。
• 参考スコア（独自算出の注目度）: 78.41281805608081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have exhibited intriguing in-context learning capability, achieving promising zero- and few-shot performance without updating the parameters. However, conventional in-context learning is usually restricted by length constraints, rendering it ineffective to absorb supervision from a large number of examples. In order to go beyond few shots, we introduce structured prompting that breaks the length limit and scales in-context learning to thousands of examples. Specifically, demonstration examples are separately encoded with well-designed position embeddings, and then they are jointly attended by the test example using a rescaled attention mechanism. So we can scale the number of exemplars with linear complexity instead of quadratic complexity with respect to length. Experimental results on a diverse set of tasks show that our approach improves end-task performance and reduces evaluation variance over conventional in-context learning as the number of demonstration examples increases. Code has been released at https://aka.ms/structured-prompting.
• Abstract（参考訳）: 大きな言語モデルでは、興味深いインコンテキスト学習能力を示しており、パラメータを更新せずに、ゼロショットとマイショットのパフォーマンスを実現している。 しかし、従来の文脈内学習は通常、長さの制約によって制限され、多くの例から監督を吸収する効果がない。 数回のショットを越えて、長さ制限を破る構造化プロンプトを導入し、数千の例にインコンテキスト学習をスケールします。 具体的には、デモのサンプルにはよく設計された位置埋め込みが別々にエンコードされ、再スケールされたアテンション機構を使用してテストのサンプルが共同で参加する。 したがって、長さに関して二次的な複雑さではなく、線形複雑度で例示数をスケールできる。 様々なタスクセットにおける実験結果から,本手法はエンドタスクの性能を向上し,実演例の増加に伴って従来のインコンテキスト学習よりも評価ばらつきを低減できることが示された。 コードはhttps://aka.ms/structured-promptingでリリースされた。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• In-Context Learning with Long-Context Models: An In-Depth Exploration [96.1389740719691]
  大規模なラベル空間を持つ多くのデータセットでは、数百から数千のデモでパフォーマンスが向上し続けています。 長いコンテキストのICLは驚くほど効果的であるが、ほとんどの利益は同様の例に答えることから得られている。
  論文  参考訳（メタデータ） (2024-04-30T21:06:52Z)
• Many-Shot In-Context Learning [58.395589302800566]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている 我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。 少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
  論文  参考訳（メタデータ） (2024-04-17T02:49:26Z)
• EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
  本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。 テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。 大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
  論文  参考訳（メタデータ） (2023-05-24T01:40:57Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• ScatterShot: Interactive In-context Example Curation for Text Transformation [44.9405895390925]
  In-context Learning のための高品質な実演セットを構築するための対話型システム ScatterShot を提案する。 ScatterShotは、未ラベルデータをタスク固有のパターンに反復的にスライスし、未探索または未飽和スライスからの情報入力をアクティブに学習する。 ユーザスタディでは、ScatterShotは入力空間の異なるパターンをカバーし、テキスト内のサンプルをより効率的にラベル付けするのに役立つ。
  論文  参考訳（メタデータ） (2023-02-14T21:13:31Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。