論文の概要: PACIT: Unlocking the Power of Examples for Better In-Context Instruction Tuning

• arxiv url: http://arxiv.org/abs/2310.00901v3
• Date: Tue, 4 Jun 2024 14:21:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 14:16:48.398102
• Title: PACIT: Unlocking the Power of Examples for Better In-Context Instruction Tuning
• Title（参考訳）: PACIT: より良いインテクストインストラクションチューニングのための例の力を解き放つ
• Authors: Tianci Xue, Ziqi Wang, Yixia Li, Yun Chen, Guanhua Chen,
• Abstract要約: PACITは、望ましい難易度という教育的概念にインスパイアされた、コンテキスト内インストラクションチューニング手法である。 PACITの有効性を実証し、ICITベースラインをドメイン内およびドメイン外の両方でそれぞれ9.16と3.14のROUGE-Lスコアで上回った。
• 参考スコア（独自算出の注目度）: 6.749012824060019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning enhances the instruction following ability of large language models by finetuning with supervised instruction data. Previous work proposes in-context instruction tuning (ICIT) where specific positive or negative examples are incorporated into the prompt for better performance. In this work, we propose PACIT, a simple and effective in-context instruction tuning method, inspired by the pedagogical concept of desirable difficulty. The PACIT method unlocks the power of examples by encouraging the model to actively learn to grasp the distinctions between the positive and negative examples instead of merely reading. The model is expected to first verify the correctness of the provided example according to the task description, which is then set as the condition for generating a better response to the task instance. Our extensive experiments prove the effectiveness of PACIT, outperforming ICIT baseline on both in-domain and out-domain tasks up to 9.16 and 3.14 average ROUGE-L scores, respectively. Moreover, PACIT can notably enhance the performance of instruction tuning even when all positive and negative examples are generated with a self-instruct method.
• Abstract（参考訳）: インストラクションチューニングは、教師付き命令データで微調整することで、大規模言語モデルの命令追従能力を向上する。 従来の研究では、より優れたパフォーマンスを実現するために、特定の正または負の例をプロンプトに組み込んだインコンテキスト・インストラクション・チューニング(ICIT)が提案されている。 そこで本研究では,目的とする難易度という教育的概念にインスパイアされた,シンプルで効果的なインコンテキスト・インストラクション・チューニング手法であるPACITを提案する。 PACIT法は、単に読むのではなく、肯定的な例と否定的な例の区別を積極的に理解するようモデルに促すことによって、例の力を解き放つ。 モデルでは、まずタスク記述に従って提案された例の正当性を検証し、タスクインスタンスに対するより良い応答を生成する条件として設定する。 PACITの有効性を実証し、ICITベースラインをドメイン内およびドメイン外の両方で最大9.16と3.14のROUGE-Lスコアで上回った。 さらに, PACITは, 自己指示法で正負の例がすべて生成される場合でも, 命令チューニングの性能を顕著に向上させることができる。

関連論文リスト

• Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis [7.458853474864602]
  アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。 近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。 本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-28T10:39:10Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Evaluating the Zero-shot Robustness of Instruction-tuned Language Models [23.488398944358643]
  新規な(観測されていない)が適切な命令表現を用いることで、モデル性能は一貫して低下することがわかった。 本稿では,ソフトプロンプトの埋め込みパラメータを導入することで,この問題を軽減するための簡単な手法を提案する。 本手法は命令調整モデルのロバスト性を常に改善することを示す。
  論文  参考訳（メタデータ） (2023-06-20T03:48:51Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
  微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。 これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。 近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
  論文  参考訳（メタデータ） (2023-02-22T17:45:12Z)
• Learning Action Conditions from Instructional Manuals for Instruction Understanding [48.52663250368341]
  本稿では,行動条件推論というタスクを提案し,命令マニュアルにおける行動条件の事前条件と後条件の高品質なアノテートデータセットを収集する。 本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
  論文  参考訳（メタデータ） (2022-05-25T00:19:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。