論文の概要: Self-adaptive In-context Learning

• arxiv url: http://arxiv.org/abs/2212.10375v1
• Date: Tue, 20 Dec 2022 15:55:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 13:50:37.424757
• Title: Self-adaptive In-context Learning
• Title（参考訳）: 自己適応型インコンテキスト学習
• Authors: Zhiyong Wu, Yaoxiang Wang, Jiacheng Ye, Lingpeng Kong
• Abstract要約: 本稿では、自己適応型インコンテキスト学習(ICL)の新たな原則を提唱する。 自己適応機構を導入し、各サンプルが正しい予測を導出できるコンテキスト内サンプル置換を見つけるのを助ける。 我々の自己適応型ICL法は,実践環境よりも40%の相対的な改善を実現している。
• 参考スコア（独自算出の注目度）: 15.3566963926257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the surprising few-shot performance of in-context learning (ICL), it is still a common practice to randomly sample examples to serve as context. This paper advocates a new principle for ICL: self-adaptive in-context learning. The self-adaption mechanism is introduced to help each sample find an in-context example permutation (i.e., selection and ordering) that can derive the correct prediction, thus maximizing performance. To validate the effectiveness of self-adaptive ICL, we propose a general select-then-rank framework and instantiate it with new selection and ranking algorithms. Upon extensive evaluation on eight different NLP datasets, our self-adaptive ICL method achieves a 40% relative improvement over the common practice setting. Further analysis reveals the enormous potential of self-adaptive ICL that it might be able to close the gap between ICL and finetuning given more advanced algorithms. Our code is released to facilitate future research in this area: https://github.com/Shark-NLP/self-adaptive-ICL
• Abstract（参考訳）: In-context Learning (ICL) の驚くべき数ショットのパフォーマンスにもかかわらず、サンプルをランダムにサンプルしてコンテキストとして扱うのが一般的である。 本稿では,iclの新しい原則である自己適応型インコンテキスト学習を提唱する。 自己適応機構を導入し、各サンプルが正しい予測を導出し、性能を最大化する、コンテキスト内サンプル置換(選択と順序付け)を見つけるのを助ける。 自己適応型ICLの有効性を検証するため,汎用の選択列フレームワークを提案し,新しい選択とランク付けアルゴリズムでインスタンス化する。 8つの異なるnlpデータセットを広範囲に評価した結果,自己適応型icl法は,一般的な実践環境に比べて40%の相対的改善を達成している。 さらなる分析により、より高度なアルゴリズムによってICLと微調整のギャップを埋めることのできる自己適応型ICLの巨大な可能性を明らかにしている。 私たちのコードは、この分野における将来の研究を促進するためにリリースされた。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• "In-Context Learning" or: How I learned to stop worrying and love "Applied Information Retrieval" [9.264121218481133]
  In-context Learning (ICL)は、自然言語処理(NLP)の新しいパラダイムとして進化してきた。 ICLは概念的には$k$-NNのような非パラメトリックアプローチに似ている。 トレーニングセットから取得したICLの同様の例は、IRのコレクションから取得したドキュメントのセットに関連している。
  論文  参考訳（メタデータ） (2024-05-02T09:25:24Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Which Examples to Annotate for In-Context Learning? Towards Effective and Efficient Selection [35.924633625147365]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を介して新しいタスクに適応できる そこで本研究では,ICLのアクティブな学習手法について検討し,アノテートのための予算が限られている。 本稿では,モデルが不確実であることを示すモデル適応型最適化自由アルゴリズムAdaICLを提案する。
  論文  参考訳（メタデータ） (2023-10-30T22:03:55Z)
• Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
  本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。 特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。 我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T16:47:17Z)
• Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right? [135.71855998537347]
  オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。 空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。 既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
  論文  参考訳（メタデータ） (2023-05-16T08:29:33Z)
• OpenICL: An Open-Source Framework for In-context Learning [48.75452105457122]
  In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。 OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。 OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
  論文  参考訳（メタデータ） (2023-03-06T06:20:25Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• Adaptive Soft Contrastive Learning [19.45520684918576]
  本稿では,適応型ソフトコントラスト学習(ASCL)という,サンプル間のソフトな関係を導入する適応手法を提案する。 既存の自己教師付き学習フレームワークのための効果的で簡潔なプラグインモジュールとして、ASCLはいくつかのベンチマークで最高のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-07-22T16:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。