論文の概要: Towards Informative Few-Shot Prompt with Maximum Information Gain for In-Context Learning

• arxiv url: http://arxiv.org/abs/2310.08923v1
• Date: Fri, 13 Oct 2023 07:49:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 13:52:42.079902
• Title: Towards Informative Few-Shot Prompt with Maximum Information Gain for In-Context Learning
• Title（参考訳）: インコンテキスト学習のための情報ゲインを最大化する情報的マイナショットプロンプト
• Authors: Hongfu Liu, Ye Wang
• Abstract要約: 大規模言語モデル (LLM) は、文脈内学習 (ICL) を行う能力を有する。 LLMは、新しい下流タスクを条件としていくつかのデモを活用することで、ICL(In-context Learning)に参加する能力を持っている。 しかし、この特定の学習パラダイムは、選択されたサンプルの入力分布、順序付け、プロンプトフォーマットなどの要因によって引き起こされる実質的なばらつきから生じる高い不安定さに悩まされる。
• 参考スコア（独自算出の注目度）: 30.536184852029386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language models (LLMs) possess the capability to engage In-context Learning (ICL) by leveraging a few demonstrations pertaining to a new downstream task as conditions. However, this particular learning paradigm suffers from high instability stemming from substantial variances induced by factors such as the input distribution of selected examples, their ordering, and prompt formats. In this work, we demonstrate that even when all these factors are held constant, the random selection of examples still results in high variance. Consequently, we aim to explore the informative ability of data examples by quantifying the Information Gain (IG) obtained in prediction after observing a given example candidate. Then we propose to sample those with maximum IG. Additionally, we identify the presence of template bias, which can lead to unfair evaluations of IG during the sampling process. To mitigate this bias, we introduce Calibration Before Sampling strategy. The experimental results illustrate that our proposed method can yield an average relative improvement of 14.3% across six classification tasks using three LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、新しい下流タスクを条件としていくつかのデモを活用することで、ICL(In-context Learning)に参加する能力を持っている。 しかし、この学習パラダイムは、選択された例の入力分布、順序付け、プロンプト形式などの要因によって引き起こされる実質的なばらつきに起因する高い不安定さに苦しむ。 この研究で、これらの因子が全て一定である場合でも、例のランダムな選択は高い分散をもたらすことを示した。 そこで,本研究では,データ例候補を観測した後に得られた情報ゲイン(IG)を定量化することにより,データ例の情報伝達能力を探求する。 次に、最大IGでそれらをサンプリングする。 さらに, テンプレートバイアスの存在を同定し, サンプリング過程におけるIGの不正な評価につながる可能性がある。 このバイアスを軽減するために,サンプリング戦略の前にキャリブレーションを導入する。 実験の結果,提案手法は3つのLLMを用いて6つの分類タスクに対して平均14.3%の相対的改善が得られることがわかった。

関連論文リスト

• Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification [6.273933281069326]
  生成型大規模言語モデル(LLM)は、データ拡張タスクにますます使われています。 数ショットの学習文献に存在するサンプル選択戦略を比較し,LLMに基づくテキスト拡張におけるそれらの効果について検討する。 結果から,一部の情報化戦略ではモデルの性能が向上する一方,限界性能が向上してもほとんど発生しないことがわかった。
  論文  参考訳（メタデータ） (2024-10-14T17:30:08Z)
• Strategic Demonstration Selection for Improved Fairness in LLM In-Context Learning [18.782566259311206]
  本研究は,大規模言語モデル (LLM) の公平性にどう影響するかを検討する。 少数派のサンプルを意図的に含むと、予測精度を犠牲にすることなく、公平性が著しく向上することがわかった。 学習データから多種多様な代表的なサンプルをキュレートするために,クラスタリングと進化戦略を用いた緩和手法を導入する。
  論文  参考訳（メタデータ） (2024-08-19T07:34:43Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• In-Context Example Ordering Guided by Label Distributions [34.30216341226014]
  最適化問題としてコンテキスト内注文を定式化する。 ラベルの比率から学習するという考えに触発され、モデルの確率予測によって導かれる文脈内サンプル注文の原則を2つ提案する。 提案手法は, 分類精度の向上, モデルの誤校正の低減, 文脈内事例の選択により, ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T04:08:10Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• Learning from a Biased Sample [3.546358664345473]
  本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。 本研究では,健康調査データからメンタルヘルススコアの予測を行うケーススタディにおいて,提案手法を実証的に検証した。
  論文  参考訳（メタデータ） (2022-09-05T04:19:16Z)
• Nested Variational Inference [8.610608901689577]
  我々は,KLの発散を最小限に抑えることにより,営巣重要サンプルの提案を学習する手法のファミリーを開発する。 ネスト目標の最適化により,ログ平均重量と有効試料サイズの観点から,試料品質が向上することが観察された。
  論文  参考訳（メタデータ） (2021-06-21T17:56:59Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。