論文の概要: Demonstration Augmentation for Zero-shot In-context Learning

• arxiv url: http://arxiv.org/abs/2406.01224v1
• Date: Mon, 3 Jun 2024 11:46:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:18:57.173238
• Title: Demonstration Augmentation for Zero-shot In-context Learning
• Title（参考訳）: ゼロショットインコンテキスト学習のためのデモ強化
• Authors: Yi Su, Yunpeng Tai, Yixin Ji, Juntao Li, Bowen Yan, Min Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、ICL(In-context Learning)として知られる印象的な能力を実証した。 In-context Learning (DAIL) の実証拡張について提案する。 実験の結果,DAILは直接ゼロショット推論よりもモデルの性能を著しく向上させることができ,外部情報のない数ショットICLよりも優れることがわかった。
• 参考スコア（独自算出の注目度）: 35.210664102352546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated an impressive capability known as In-context Learning (ICL), which enables them to acquire knowledge from textual demonstrations without the need for parameter updates. However, many studies have highlighted that the model's performance is sensitive to the choice of demonstrations, presenting a significant challenge for practical applications where we lack prior knowledge of user queries. Consequently, we need to construct an extensive demonstration pool and incorporate external databases to assist the model, leading to considerable time and financial costs. In light of this, some recent research has shifted focus towards zero-shot ICL, aiming to reduce the model's reliance on external information by leveraging their inherent generative capabilities. Despite the effectiveness of these approaches, the content generated by the model may be unreliable, and the generation process is time-consuming. To address these issues, we propose Demonstration Augmentation for In-context Learning (DAIL), which employs the model's previously predicted historical samples as demonstrations for subsequent ones. DAIL brings no additional inference cost and does not rely on the model's generative capabilities. Our experiments reveal that DAIL can significantly improve the model's performance over direct zero-shot inference and can even outperform few-shot ICL without any external information.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ICL(In-context Learning)と呼ばれる印象的な機能を実証した。 しかし、多くの研究は、モデルの性能がデモの選択に敏感であることを強調しており、ユーザクエリの事前知識が欠如している実用的なアプリケーションにとって重要な課題であることを示している。 そのため、大規模な実証プールを構築し、モデルを支援するために外部データベースを組み込まなければならないため、かなりの時間と費用がかかる。 これを踏まえて、最近の研究はゼロショットICLに焦点を移し、モデル固有の生成能力を活用して外部情報への依存を減らすことを目的としている。 これらのアプローチの有効性にもかかわらず、モデルによって生成されたコンテンツは信頼できない可能性があり、生成プロセスは時間がかかる。 これらの課題に対処するために,本モデルが予測した過去のサンプルをその後のサンプルの実証として用いたDAIL(Demonstration Augmentation for In-context Learning)を提案する。 DAILは追加の推論コストをもたらしず、モデルの生成能力に依存しない。 実験の結果,DAILは直接ゼロショット推論よりもモデルの性能を著しく向上させることができ,外部情報なしに数発のICLよりも優れることがわかった。

関連論文リスト

• Controlling Forgetting with Test-Time Data in Continual Learning [15.455400390299593]
  継続学習研究は、新しい知識が得られたときの過去の情報の破滅的な忘れを克服する技術を提供する。 テストタイムデータには,従来の学習タスクのモデルメモリをリフレッシュするために,自己管理的な方法で活用できる優れた情報がある,と我々は主張する。
  論文  参考訳（メタデータ） (2024-06-19T15:56:21Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
  インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。 最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。 本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
  論文  参考訳（メタデータ） (2024-01-21T23:34:42Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
  In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。 これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。