論文の概要: PLR: Plackett-Luce for Reordering In-Context Learning Examples

• arxiv url: http://arxiv.org/abs/2603.21373v1
• Date: Sun, 22 Mar 2026 19:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.38509
• Title: PLR: Plackett-Luce for Reordering In-Context Learning Examples
• Title（参考訳）: PLR: 文脈内学習の例を並べ替えるPockett-Luce
• Authors: Pawel Batorski, Paul Swoboda,
• Abstract要約: In-context Learningは、ICLの例の小さなセットを条件にすることで、大きな言語モデルに適応する。 PLRは離散順序探索をプラケット・リュックモデルで順序付けよりも確率分布を学習することで置き換える。 PLRは4, 8, 16, 32$の例で、数ショットの精度を一貫して改善している。
• 参考スコア（独自算出の注目度）: 13.775690509818753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) adapts large language models by conditioning on a small set of ICL examples, avoiding costly parameter updates. Among other factors, performance is often highly sensitive to the ordering of the examples. However, exhaustive search over the $n!$ possible orderings is infeasible. Therefore more efficient ordering methods use model confidence measures (e.g., label-probability entropy) over label sets or take a direct approach to finding the best ordering. We propose PLR, a probabilistic approach to in-context example ordering that replaces discrete ordering search with learning a probability distribution over orderings with the Plackett-Luce model. PLR models orderings using a Plackett-Luce distribution and iteratively updates its parameters to concentrate probability mass on high-performing orderings under a task-level metric. Candidate orderings are sampled efficiently via a Gumbel perturb-and-sort procedure. Experiments on multiple classification benchmarks show that PLR consistently improves few-shot accuracy for $k \in \{4, 8, 16, 32\}$ examples, and we further demonstrate gains on mathematical reasoning tasks where label-based ordering methods are not applicable. Our code is available at https://github.com/Batorskq/PLR.
• Abstract（参考訳）: In-context Learning (ICL)は、ICLの少数の例を条件に、高価なパラメータ更新を避けることで、大きな言語モデルに適応する。 その他の要因の中で、パフォーマンスは例の順序に非常に敏感であることが多い。 しかし、$nを徹底的に検索する! $の注文は不可能です。 したがって、より効率的な順序付け法は、ラベル集合上のモデル信頼度(例えば、ラベル確率エントロピー)または最良の順序付けを見つけるための直接的なアプローチを取る。 PLRは、離散順序探索をプラケット・ルーシモデルによる順序付けよりも確率分布の学習に置き換える、文脈内サンプル順序付けの確率論的手法である。 PLRモデルは、Packett-Luce分布を用いて順序付けを行い、そのパラメータを反復的に更新し、タスクレベル計量の下で高い性能の順序付けに確率質量を集中させる。 候補順序付けは、Gumbelのperturb-and-sortプロシージャを介して効率的にサンプリングされる。 複数の分類ベンチマークの実験により、PLRは$k \in \{4, 8, 16, 32\}$の例に対して連続的に数ショット精度を向上し、ラベルベースの順序付け手法が適用できない数学的推論タスクにおいてさらに向上を示す。 私たちのコードはhttps://github.com/Batorskq/PLR.comで公開されています。

関連論文リスト

• Order Matters: Rethinking Prompt Construction in In-Context Learning [52.19217980839306]
  In-context Learning (ICL)により、大規模言語モデルでは、例の列に条件付けすることで、新しいタスクを実行できる。 以前の作業のほとんどは、どの例が選択されたかが、これらの例の順序よりもパフォーマンスにはるかに大きな影響を与えると仮定している。 この仮定を再検討し、選択と順序付けの効果を体系的に比較する。
  論文  参考訳（メタデータ） (2025-11-12T19:57:55Z)
• GRAPE: Let GPRO Supervise Query Rewriting by Ranking for Retrieval [19.73916326078242]
  CLIPモデルは,テキストと画像データを統合埋め込み空間に整列させることにより,大規模検索システムの基盤となっている。 コストのかかるリトレーニングを避けるため、既存のメソッドは主に大規模言語モデル(LLM)によるクエリ書き換え戦略を採用している。 GRAPEは,検索誘導型クエリ書き換えにランキング信号を組み込むプラグイン・アンド・プレイ拡張手法である。
  論文  参考訳（メタデータ） (2025-09-27T15:36:59Z)
• Order Independence With Finetuning [0.0]
  大規模言語モデル(LLM)は多くのNLPタスクにおいて顕著な性能を示すが、しばしば順序依存を示す。 最近の研究は、指定されたトークンサブセットから注文情報を除去する手段として、SBP(Set-Based Prompting)を提案する。 我々は,SBPをトレーニングプロセスに統合し,これらの設定されたプロンプトをモデルのトレーニング多様体に"推進する"微調整戦略を導入する。
  論文  参考訳（メタデータ） (2025-03-30T15:38:43Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• In-Context Example Ordering Guided by Label Distributions [34.30216341226014]
  最適化問題としてコンテキスト内注文を定式化する。 ラベルの比率から学習するという考えに触発され、モデルの確率予測によって導かれる文脈内サンプル注文の原則を2つ提案する。 提案手法は, 分類精度の向上, モデルの誤校正の低減, 文脈内事例の選択により, ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T04:08:10Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• Conditional Poisson Stochastic Beam Search [35.60062127942947]
  条件付きポアソンビームサーチ(CPSBS)は、Coolらによる2019年のビームサーチ(SBS)より自然な代替品である。 CPSBSはSBSよりも低い分散とより効率的な推定器を生成し、高いエントロピー設定の改善を示す。
  論文  参考訳（メタデータ） (2021-09-22T20:49:16Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。