論文の概要: DemoShapley: Valuation of Demonstrations for In-Context Learning

• arxiv url: http://arxiv.org/abs/2410.07523v2
• Date: Fri, 30 May 2025 10:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.465893
• Title: DemoShapley: Valuation of Demonstrations for In-Context Learning
• Title（参考訳）: DemoShapley: インコンテキスト学習のためのデモの検証
• Authors: Shan Xie, Man Luo, Chadly Daniel Stern, Mengnan Du, Lu Cheng,
• Abstract要約: インコンテキスト学習(ICL)を用いた大規模言語モデル(LLM)は、タスク固有の微調整なしで多くのタスクを抽出する。 本研究では,Data ShapleyとBeta ShapleyにインスパイアされたDemoShapleyとBeta-DemoShapleyを提案する。
• 参考スコア（独自算出の注目度）: 20.26604061802236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) using in-context learning (ICL) excel in many tasks without task-specific fine-tuning. However, demonstration selection and ordering greatly impact ICL effectiveness. To address this, we propose DemoShapley and Beta-DemoShapley, inspired by Data Shapley and Beta Shapley, to assess the influence of individual demonstrations. DemoShapley captures how each example influences performance in different contexts, unlike other influence-based methods that rely on a fixed number of demonstrations. Beta-DemoShapley further enhances this framework by incorporating the Beta distribution, allowing users to assign higher weights to smaller cardinalities, which aligns with ICL's prompt length and computational constraints. Our findings show that the proposed algorithms improve model performance by selecting quality demonstrations, and enhancing generalization to out-of-distribution tasks. It also identifies noise-compromised data and promotes fairness in LLMs, protecting model performance and ensuring robustness across various scenarios.
• Abstract（参考訳）: インコンテキスト学習(ICL)を用いた大規模言語モデル(LLM)は、タスク固有の微調整なしで多くのタスクを抽出する。 しかし、実演選択と順序付けはICLの有効性に大きな影響を及ぼした。 これを解決するために、Data ShapleyとBeta ShapleyにインスパイアされたDemoShapleyとBeta-DemoShapleyを提案し、個々のデモの影響を評価する。 DemoShapleyは、各例が異なるコンテキストにおけるパフォーマンスにどのように影響するかをキャプチャする。 Beta-DemoShapleyは、ベータディストリビューションを組み込むことでこのフレームワークをさらに強化し、ICLの迅速な長さと計算上の制約に合わせて、より小さな濃度により高い重みを割り当てることを可能にする。 この結果から,提案アルゴリズムは品質実証を選択することによってモデル性能を向上し,アウト・オブ・ディストリビューションタスクへの一般化を向上することがわかった。 また、ノイズ圧縮されたデータを識別し、LLMの公平性を促進し、モデル性能を保護し、様々なシナリオで堅牢性を確保する。

関連論文リスト

• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
  インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。 最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。 本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
  論文  参考訳（メタデータ） (2024-01-21T23:34:42Z)
• Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
  In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。 これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• Scaling In-Context Demonstrations with Structured Attention [75.41845145597875]
  我々は、文脈内学習のためのより優れたアーキテクチャ設計を提案する。 In-Context Learningのための構造化アテンションは、構造化アテンションメカニズムによって完全なアテンションを置き換える。 SAICLは、最大3.4倍の推論速度で、フルアテンションよりも同等または優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2023-07-05T23:26:01Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• Dr.ICL: Demonstration-Retrieved In-context Learning [29.142262267850704]
  インコンテキスト学習(ICL)は、LLMを使用するための強力なパラダイムとして、数発のデモでタスクを実行するために大きな言語モデルを教える。 最近の研究では、利用可能なデモのプールからの入力に対して意味論的に類似したデモを取得することで、より良いパフォーマンスが得られることが示唆されている。 この研究は、BM25のような単純な単語オーバーラップ類似度対策でさえ、ランダムに選択された実演よりも優れていることを示すことで、検索ベースのICLアプローチの適用性を拡大する。
  論文  参考訳（メタデータ） (2023-05-23T14:55:25Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。