論文の概要: Monte Carlo Sampling for Analyzing In-Context Examples

• arxiv url: http://arxiv.org/abs/2503.22002v1
• Date: Thu, 27 Mar 2025 21:37:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:44.211281
• Title: Monte Carlo Sampling for Analyzing In-Context Examples
• Title（参考訳）: インコンテキスト分析のためのモンテカルロサンプリング
• Authors: Stephanie Schoch, Yangfeng Ji,
• Abstract要約: 本研究では,モンテカルロ法を用いてサンプル数の影響を探索し,順序や選択された例からの影響を明示的に説明する手法を開発した。 性能は順序付けや実例数に対して堅牢であるが, ランダムサンプリングに比べて予期せぬ性能劣化があることがわかった。
• 参考スコア（独自算出の注目度）: 19.740652268957522
• License:
• Abstract: Prior works have shown that in-context learning is brittle to presentation factors such as the order, number, and choice of selected examples. However, ablation-based guidance on selecting the number of examples may ignore the interplay between different presentation factors. In this work we develop a Monte Carlo sampling-based method to study the impact of number of examples while explicitly accounting for effects from order and selected examples. We find that previous guidance on how many in-context examples to select does not always generalize across different sets of selected examples and orderings, and whether one-shot settings outperform zero-shot settings is highly dependent on the selected example. Additionally, inspired by data valuation, we apply our sampling method to in-context example selection to select examples that perform well across different orderings. We find a negative result, that while performance is robust to ordering and number of examples, there is an unexpected performance degradation compared to random sampling.
• Abstract（参考訳）: 先行研究では、文脈内学習は、選択された例の順序、数、選択などの提示要因に弱いことが示されている。 しかし, 実例数選択におけるアブレーションに基づく指導は, 異なる提示要因間の相互作用を無視する可能性がある。 本研究は,モンテカルロサンプリングに基づくサンプル数の影響を,順序や選択された例からの影響を明示的に説明しながら研究する手法である。 選択すべきコンテキスト内例の数に関する以前のガイダンスは、選択した例と順序の異なるセットを常に一般化するわけではないこと、選択した例に大きく依存しているかどうか、一発設定がゼロショット設定より優れていることが分かる。 さらに,データ評価にインスパイアされたサンプル抽出手法をコンテキスト内サンプル選択に適用し,異なる順序でよく動作するサンプルを選択する。 性能は順序付けや実例数に頑健であるが, ランダムサンプリングに比べて予期せぬ性能劣化が生じるという否定的な結果が得られた。

関連論文リスト

• Bayesian Example Selection Improves In-Context Learning for Speech, Text, and Visual Modalities [15.931776592470895]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて新しいタスクに適応できる 本稿では,ICLのための新しいベイジアン・イン・コンテクスト・サンプル・セレクション法(ByCS)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T03:42:48Z)
• Designing Informative Metrics for Few-Shot Example Selection [14.961505860372492]
  本稿では,複雑性に基づく逐次タギングタスクのプロンプト選択手法を提案する。 このアプローチは、サンプルの選択専用のモデルのトレーニングを避ける。 文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。
  論文  参考訳（メタデータ） (2024-03-06T17:11:38Z)
• Addressing Order Sensitivity of In-Context Demonstration Examples in Causal Language Models [18.03259038587496]
  インコンテクスト学習は、インコンテクストの実例の順序に大きく影響される。 情報拡張・一貫性強化手法と呼ばれる教師なしの微調整手法を導入する。 提案手法は,文脈内サンプルの順序に対するCausalLMsの感度を低減し,堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2024-02-23T22:39:12Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Leveraging Importance Weights in Subset Selection [45.54597544672441]
  本稿では,任意のモデルファミリを実用的なバッチ設定で扱うように設計されたサブセット選択アルゴリズムを提案する。 我々のアルゴリズムであるIWeSは、各サンプルに割り当てられたサンプリング確率が、以前選択されたバッチで訓練されたモデルのエントロピーに基づいて、重要サンプリングによってサンプルを選択する。
  論文  参考訳（メタデータ） (2023-01-28T02:07:31Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)
• K-Shot Contrastive Learning of Visual Features with Multiple Instance Augmentations [67.46036826589467]
  個々のインスタンス内のサンプルのバリエーションを調べるために、$K$-Shot Contrastive Learningが提案されている。 異なるインスタンスを区別するために差別的特徴を学習することで、インスタンス間差別の利点を組み合わせることを目的としている。 提案した$K$-shotのコントラスト学習は、最先端の教師なし手法よりも優れた性能が得られることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-07-27T04:56:41Z)
• On conditional versus marginal bias in multi-armed bandits [105.07190334523304]
  多腕バンディットにおける腕のサンプル平均のバイアスは、適応データ解析において重要な問題である。 サンプル平均を含む報酬の単調関数の条件バイアスの兆候を特徴付ける。 我々の結果は任意の条件付けイベントを保ち、データ収集ポリシーの自然な単調性特性を活用する。
  論文  参考訳（メタデータ） (2020-02-19T20:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。