論文の概要: In-context Example Selection with Influences
- arxiv url: http://arxiv.org/abs/2302.11042v1
- Date: Tue, 21 Feb 2023 22:47:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 16:52:10.680163
- Title: In-context Example Selection with Influences
- Title(参考訳): 影響のある文脈内サンプル選択
- Authors: Tai Nguyen and Eric Wong
- Abstract要約: In-context Learning(ICL)は、大規模言語モデル(LLM)から生まれた強力なパラダイムである。
本研究では、インコンテキストインフルエンサーを用いて、インコンテキストの例から、少数ショットICLのパフォーマンスを直接解析する。
この分析によると、最も肯定的な例と否定的な例の間には、22.2%のパフォーマンスギャップがある。
- 参考スコア(独自算出の注目度): 8.058815264255152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning (ICL) is a powerful paradigm emerged from large language
models (LLMs). Despite its promises, ICL performance is known to be highly
sensitive to input examples. In this work, we use in-context influences to
analyze few-shot ICL performance directly from the in-context examples. Our
proposed influence-based example selection method outperforms most baselines
when evaluated on 10 SuperGlue tasks and stably scales with increasing k-shot.
The analysis finds up to a 22.2% performance gap between the most positively
and negatively influential examples. In a case study, we apply our
influence-based framework to quantify the phenomena of recency bias in example
ordering for few-shot ICL.
- Abstract(参考訳): In-context Learning(ICL)は、大規模言語モデル(LLM)から生まれた強力なパラダイムである。
その約束にもかかわらず、iclのパフォーマンスは入力例に非常に敏感であることが知られている。
本研究では,in-contextインフルエンサーを用いて,in-contextサンプルから直接,少数のiclパフォーマンスを分析する。
提案手法は,10のSuperGlueタスクで評価し,kショットの増加とともに安定的にスケールする。
分析の結果、最も肯定的な例と否定的な影響のある例の22.2%のパフォーマンス差が判明した。
ケーススタディでは,数発のiclの注文などにおいて,直交バイアスの現象を定量化するために,影響に基づく枠組みを適用した。
関連論文リスト
- $Se^2$: Sequential Example Selection for In-Context Learning [86.75255148668198]
インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。
以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。
本稿では,この問題を$textitse$quential $textitse$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
論文 参考訳(メタデータ) (2024-02-21T15:35:04Z) - In-Context Learning Demonstration Selection via Influence Analysis [12.929357709840975]
大規模言語モデル(LLM)は、そのICL(In-Context Learning)機能を実証した。
複数の利点があるにもかかわらず、ICLの一般化性能は選択されたデモに敏感である。
本研究では,インフルエンス関数によるトレーニングサンプルの影響を解析するInfICLという実演選択手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T00:39:31Z) - Not All Demonstration Examples are Equally Beneficial: Reweighting
Demonstration Examples for In-Context Learning [32.29118942982609]
大規模言語モデル(LLM)は、最近、モデルをスケールアップしてICL(In-Context Learning)能力を獲得した。
本稿では,実演例における平均重量の決め方とICLにおける適用方法について検討する。
8つのテキスト分類タスクの実験結果から,本手法は従来のICLよりも高い性能を示した。
論文 参考訳(メタデータ) (2023-10-12T13:15:11Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳(メタデータ) (2023-02-11T14:02:08Z) - Investigating the Role of Negatives in Contrastive Representation
Learning [59.30700308648194]
ノイズコントラスト学習は教師なし表現学習の一般的な手法である。
我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。
結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
論文 参考訳(メタデータ) (2021-06-18T06:44:16Z) - What Makes Good In-Context Examples for GPT-$3$? [101.99751777056314]
GPT-$3$はNLPタスクの広い範囲でその優れた性能のために多くの注目を集めています。
その成功にもかかわらず、我々はGPT-$3$の実証結果が文脈内例の選択に大きく依存していることを発見した。
本研究では,文脈内事例を適切に選択するためのより効果的な戦略が存在するかを検討する。
論文 参考訳(メタデータ) (2021-01-17T23:38:40Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳(メタデータ) (2020-10-22T20:45:10Z) - RelatIF: Identifying Explanatory Training Examples via Relative
Influence [13.87851325824883]
インフルエンス関数を使用して、関連するトレーニング例を特定し、機械学習モデルの予測を"説明"することを望んでいます。
本稿では,グローバルな影響に制約を課す最適化目標を用いて,関連するトレーニング事例を選択するための新しい基準であるRelatIFを紹介する。
経験的評価では、RelatIFで返される例は影響関数を用いた例に比べて直感的であることが判明した。
論文 参考訳(メタデータ) (2020-03-25T20:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。