論文の概要: MarginSel : Max-Margin Demonstration Selection for LLMs
- arxiv url: http://arxiv.org/abs/2506.06699v1
- Date: Sat, 07 Jun 2025 07:50:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.439919
- Title: MarginSel : Max-Margin Demonstration Selection for LLMs
- Title（参考訳）: MarginSel : LLMの最大Marginデモ選択
- Authors: Rajeev Bhatt Ambati, James Lester, Shashank Srivastava, Snigdha Chaturvedi,
- Abstract要約: 本稿では、ICLプロンプトのハードデモ例を選択し、各テストインスタンスに適応する2段階の方法を提案する。
提案手法は,F1スコアをランダムに選択した場合に比べて2-7%向上する。
- 参考スコア（独自算出の注目度）: 25.55271445086369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) excel at few-shot learning via in-context learning (ICL). However, the effectiveness of ICL is often sensitive to the selection and ordering of demonstration examples. To address this, we present MarginSel: Max-Margin Demonstration Selection for LLMs, a two-step method that selects hard demonstration examples for the ICL prompt, adapting to each test instance. Our approach achieves 2-7% absolute improvement in F1-score across classification tasks, compared to a random selection of examples. We also provide theoretical insights and empirical evidence showing that MarginSel induces max-margin behavior in LLMs by effectively increasing the margin for hard examples, analogous to support vectors, thereby shifting the decision boundary in a beneficial direction.
- Abstract（参考訳）: LLM(Large Language Models)は、文脈内学習(ICL)を通じて、数ショットの学習で優れる。
しかし、ICLの有効性は、しばしば実演例の選択と順序付けに敏感である。
この問題に対処するため、各テストインスタンスに適応し、ICLプロンプトのハードなデモ例を選択する2段階の方法であるLSMsのMax-Margin Demonstration Selectionを提示する。
提案手法は,F1スコアをランダムに選択した場合に比べて2-7%向上する。
また, MarginSel が LLM の最大マージン振舞いを誘導することを示す理論的洞察や実証的証拠も提供し, 実例のマージンのマージン振舞いを効果的に増加させ, ベクターの支持に類似し, 決定境界を有利な方向にシフトさせることで示している。
関連論文リスト
- Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。
FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。
FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
論文 参考訳（メタデータ） (2025-06-06T12:29:03Z) - MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning [53.02571749383208]
In-Context Learning (ICL)は、大規模言語モデル(LLM)に複数のインプット・アウトプット・サンプルを組み込むことで、多様なタスクに対処する権限を与える。
Many-Shot Adaptive Pseudo-LabEling (MAPLE)は、ラベル情報の欠如を補うために擬似ラベル付きサンプルを利用する新しいインフルエンスベースのマルチショットICLフレームワークである。
論文 参考訳（メタデータ） (2025-05-22T04:54:27Z) - Efficient Evaluation of Large Language Models via Collaborative Filtering [25.734508624520164]
大規模言語モデル(LLM)は、異なるLLMの能力を測定し比較するために提案されている。
LLMの評価は、多数のテストインスタンスと遅い推論速度のためにコストがかかる。
与えられたベンチマーク上でモデルの実性能を効率的に推定する2段階手法を提案する。
論文 参考訳（メタデータ） (2025-04-05T07:46:30Z) - What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。
本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
論文 参考訳（メタデータ） (2024-12-11T11:38:11Z) - In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting [33.89176174108559]
大規模言語モデル(LLM)の文脈内学習は、いくつかの例で拡張された命令に基づいて予測を行う。
ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。
本稿では,言語モデルセレクタとLLMジェネレータから構成される実例選択(RLS)のためのポリシーベース強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-23T12:32:12Z) - Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。
本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
論文 参考訳（メタデータ） (2024-08-14T12:32:41Z) - Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。
テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。
GOとSALの2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-12T23:27:46Z) - ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。
インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。
パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-31T05:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。