論文の概要: Self-ICL: Zero-Shot In-Context Learning with Self-Generated Demonstrations

• arxiv url: http://arxiv.org/abs/2305.15035v2
• Date: Mon, 23 Oct 2023 14:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 09:10:01.462043
• Title: Self-ICL: Zero-Shot In-Context Learning with Self-Generated Demonstrations
• Title（参考訳）: 自己ICL:自己生成デモによるゼロショットインコンテキスト学習
• Authors: Wei-Lin Chen, Cheng-Kuang Wu, Yun-Nung Chen, Hsin-Hsi Chen
• Abstract要約: Self-ICLは、ゼロショットICLを実行するためにLMの固有の機能をブートストラップするフレームワークである。 Self-ICLは平均精度と頭部比較の両方でゼロショットベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 38.4166247280112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have exhibited striking in-context learning (ICL) ability to adapt to target tasks with a few input-output demonstrations. For better ICL, different methods are proposed to select representative demonstrations from existing training corpora. However, such settings are not aligned with real-world practices, as end-users usually query LMs without access to demonstration pools. In this work, we introduce Self-ICL -- a simple framework which bootstraps LMs' intrinsic capabilities to perform zero-shot ICL. Given a test input, Self-ICL first prompts the model to generate pseudo-inputs. Next, the model predicts pseudo-labels for the pseudo-inputs via zero-shot prompting. Finally, we perform ICL for the test input with the pseudo-input-label pairs as demonstrations. Evaluation on 23 BIG-Bench Hard tasks shows Self-ICL outperforms zero-shot baselines on both average accuracy and head-to-head comparison. Moreover, with zero-shot chain-of-thought, Self-ICL achieves results comparable to using real demonstrations. Additionally, we conduct a range of analyses to validate Self-ICL's effectiveness and provide insights for its behaviors under different settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、いくつかのインプット・アウトプット・デモでターゲットタスクに適応する重要なコンテキスト内学習(ICL)能力を示した。 iclの改善のために、既存のトレーニングコーパスから代表的なデモンストレーションを選択するための様々な方法が提案されている。 しかし、このような設定は実世界のプラクティスとは一致せず、エンドユーザは通常、デモンストレーションプールにアクセスせずにlmsをクエリする。 本稿では,ゼロショットICLを実行するために,LMの固有の機能をブートストラップするシンプルなフレームワークであるSelf-ICLを紹介する。 テスト入力が与えられたら、Self-ICLはまずモデルに擬似入力を生成するよう促す。 次に、ゼロショットプロンプトにより擬似入力の擬似ラベルを予測する。 最後に、擬似インプット-ラベルペアをデモとしてテスト入力用のICLを実行する。 23のBIG-Bench Hardタスクの評価では、自己ICLは平均精度と頭部比較の両方でゼロショットベースラインを上回っている。 さらに、ゼロショットチェーンでは、Self-ICLは実演に匹敵する結果が得られる。 さらに,Self-ICLの有効性を検証し,異なる環境下での行動に対する洞察を提供するため,さまざまな分析を行った。

関連論文リスト

• Unifying Demonstration Selection and Compression for In-Context Learning [14.545490629324295]
  ICL フレームワーク UniICL を提案する。このフレームワークは,実演選択と圧縮を統一し,単一の凍結 LLM による最終応答生成を行う。 UniICLは、プロジェクション層から派生した17Mのトレーニング可能なパラメータのみを含む、パラメータ効率のよいフレームワークである。
  論文  参考訳（メタデータ） (2024-05-27T11:31:58Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
  In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。 これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations [97.41375480696972]
  そこで,Z-ICLを提案する。Z-ICL,Z-ICLは,与えられたテスト入力に対して擬似デモを構築することでギャップを埋める新しいゼロショット方式である。 9つの分類データセットの評価は、Z-ICLが従来のゼロショット法よりも有意差で優れていたことを示している。
  論文  参考訳（メタデータ） (2022-12-19T21:34:26Z)
• Self-Generated In-Context Learning: Leveraging Auto-regressive Language Models as a Demonstration Generator [22.532627423361177]
  自己生成型インコンテキスト学習(SG-ICL)は、PLM自体からインコンテキスト学習のためのデモを生成する。 我々は、SG-ICLがゼロショット学習を著しく上回り、一般的に約0.6金のトレーニングサンプルの価値があることを示した。
  論文  参考訳（メタデータ） (2022-06-16T10:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。