論文の概要: Unraveling Indirect In-Context Learning Using Influence Functions

• arxiv url: http://arxiv.org/abs/2501.01473v1
• Date: Wed, 01 Jan 2025 12:37:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:12:15.287436
• Title: Unraveling Indirect In-Context Learning Using Influence Functions
• Title（参考訳）: 影響関数を用いた間接的インコンテキスト学習の解法
• Authors: Hadi Askari, Shivanshu Gupta, Terry Tong, Fei Wang, Anshuman Chhabra, Muhao Chen,
• Abstract要約: 実世界の2つのシナリオ(タスクの混合とノイズのデモ)に適したデモ選択戦略について検討する。 タスクの混合設定では、MMLU、BigBench、StrategyQA、CommonsenseQAを含む28のさまざまなタスクからデモが引き出される。 Noisy Demonstrationsの設定では、デモが誤ってラベル付けされた場合のシナリオについて検討する。
• 参考スコア（独自算出の注目度）: 31.36463513108773
• License:
• Abstract: This work introduces a novel paradigm for generalized In-Context Learning (ICL), termed Indirect In-Context Learning. In Indirect ICL, we explore demonstration selection strategies tailored for two distinct real-world scenarios: Mixture of Tasks and Noisy Demonstrations. We systematically evaluate the effectiveness of Influence Functions (IFs) as a selection tool for these settings, highlighting the potential for IFs to better capture the informativeness of examples within the demonstration pool. For the Mixture of Tasks setting, demonstrations are drawn from 28 diverse tasks, including MMLU, BigBench, StrategyQA, and CommonsenseQA. We demonstrate that combining BertScore-Recall (BSR) with an IF surrogate model can significantly improve performance, leading to average absolute accuracy gains of 0.37\% and 1.45\% for 3-shot and 5-shot setups when compared to traditional ICL metrics. In the Noisy Demonstrations setting, we examine scenarios where demonstrations might be mislabeled. Our experiments show that reweighting traditional ICL selectors (BSR and Cosine Similarity) with IF-based selectors boosts accuracy by an average of 2.90\% for Cosine Similarity and 2.94\% for BSR on noisy GLUE benchmarks. In sum, we propose a robust framework for demonstration selection that generalizes beyond traditional ICL, offering valuable insights into the role of IFs for Indirect ICL.
• Abstract（参考訳）: 本研究は,インダイレクト・インコンテキスト・ラーニング(Indirect In-Context Learning)と呼ばれる一般化されたインコンテキスト・ラーニング(ICL)のための新しいパラダイムを導入する。 Indirect ICLでは、タスクの混合とノイズのデモという、2つの異なる現実シナリオに適したデモ選択戦略について検討する。 これらの設定のための選択ツールとして,インフルエンス関数(IF)の有効性を体系的に評価し,実演プール内のサンプルのインフォメーション性をよりよく捉えるためのIFの可能性を強調した。 タスクの混合設定では、MMLU、BigBench、StrategyQA、CommonsenseQAを含む28のさまざまなタスクからデモが引き出される。 我々は,BertScore-Recall(BSR)とIFサロゲートモデルを組み合わせることで,従来のICL指標と比較して平均0.37\%,1.45\%の精度向上が得られることを示した。 Noisy Demonstrationsの設定では、デモが誤ってラベル付けされた場合のシナリオについて検討する。 実験の結果,従来のICLセレクタ(BSRとCosine類似度)をIFベースセレクタで再重み付けすることで,コサイン類似度の平均2.90\%,ノイズGLUEベンチマーク2.94\%の精度が向上することがわかった。 まとめると、従来のICLを超えて一般化したデモ選択のための堅牢なフレームワークを提案し、間接ICCにおけるIFの役割に関する貴重な洞察を提供する。

関連論文リスト

• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Mixtures of In-Context Learners [18.920361190065556]
  本稿では,実験のサブセットを専門家として扱う新しい手法を提案し,その出力分布をマージする重み付け関数を学習する。 実験では,強いベースラインのセットと比較して,7つの分類データセットのうち5つの性能改善を示す。 MoICLはドメイン外(最大+11%)、不均衡(最大+49%)、ノイズの多いデモ(最大+38%)、あるいはデータセットからこれらをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2024-11-05T06:02:41Z)
• DemoShapley: Valuation of Demonstrations for In-Context Learning [20.26604061802236]
  インコンテキスト学習(ICL)を利用した大規模言語モデル(LLM)は、タスク固有の微調整を必要とせずに、様々なタスク間で数ショットの学習を行う新しいベンチマークを設定した。 我々は、Data Shapleyの評価定理にインスパイアされたDemoShapleyを紹介する。 この結果から,DemoShapleyは精度と公平性の観点からモデル性能を向上するだけでなく,コンテキスト内デモとは異なる領域からのクエリを一般化することがわかった。
  論文  参考訳（メタデータ） (2024-10-10T01:35:03Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• In-Context Learning Demonstration Selection via Influence Analysis [11.504012974208466]
  大規模言語モデル(LLM)は、ICL(In-Context Learning)機能を披露した。 その利点にもかかわらず、ICLの有効性はデモの選択に大きく依存している。 本稿では,インフルエンス関数を用いてトレーニングサンプルの影響を解析する,InfICLという実演選択手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T00:39:31Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
  大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。 我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-03T14:39:20Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。