論文の概要: Order Matters: Rethinking Prompt Construction in In-Context Learning

• arxiv url: http://arxiv.org/abs/2511.09700v1
• Date: Fri, 14 Nov 2025 01:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.422899
• Title: Order Matters: Rethinking Prompt Construction in In-Context Learning
• Title（参考訳）: 秩序の問題: 文脈内学習における素早い構成の再考
• Authors: Warren Li, Yiqian Wang, Zihan Wang, Jingbo Shang,
• Abstract要約: In-context Learning (ICL)により、大規模言語モデルでは、例の列に条件付けすることで、新しいタスクを実行できる。 以前の作業のほとんどは、どの例が選択されたかが、これらの例の順序よりもパフォーマンスにはるかに大きな影響を与えると仮定している。 この仮定を再検討し、選択と順序付けの効果を体系的に比較する。
• 参考スコア（独自算出の注目度）: 52.19217980839306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) enables large language models to perform new tasks by conditioning on a sequence of examples. Most prior work reasonably and intuitively assumes that which examples are chosen has a far greater effect on performance than how those examples are ordered, leading to a focus on example selection. We revisit this assumption and conduct a systematic comparison between the effect of selection and ordering. Through controlled experiments on both classification and generation tasks, using multiple open-source model families (0.5B to 27B parameters) and GPT-5, we find that the variance in performance due to different example orderings is comparable to that from using entirely different example sets. Furthermore, we show that strong orderings can be identified using only a development set, achieving performance close to an oracle that selects the best ordering based on test labels. Our findings highlight the equal and intertwined importance of example selection and ordering in prompt design, calling for a reexamination of the assumptions held in ICL.
• Abstract（参考訳）: In-context Learning (ICL)により、大規模言語モデルでは、例の列に条件付けすることで、新しいタスクを実行できる。 これまでのほとんどの作業は合理的かつ直感的に、どの例が選択されたかは、これらの例が順序付けられた方法よりもパフォーマンスにはるかに大きな影響を与えると仮定し、例の選択に焦点をあてる。 この仮定を再検討し、選択と順序付けの効果を体系的に比較する。 複数のオープンソースモデルファミリ (0.5Bから27Bパラメータ) と GPT-5 を用いて, 分類および生成タスクの制御実験により, 異なる例順序による性能のばらつきは, 全く異なる例集合を用いた場合と同等であることがわかった。 さらに,テストラベルに基づいて最適な順序付けを選択するオラクルに近い性能を達成し,開発セットのみを用いて強順序付けを識別できることを示す。 本研究は,ICLにおける仮定の再検討を呼びかけ,実例選択と即時設計における順序付けの両立の重要性を浮き彫りにした。

関連論文リスト

• Monte Carlo Sampling for Analyzing In-Context Examples [19.740652268957522]
  本研究では,モンテカルロ法を用いてサンプル数の影響を探索し,順序や選択された例からの影響を明示的に説明する手法を開発した。 性能は順序付けや実例数に対して堅牢であるが, ランダムサンプリングに比べて予期せぬ性能劣化があることがわかった。
  論文  参考訳（メタデータ） (2025-03-27T21:37:40Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• K-Shot Contrastive Learning of Visual Features with Multiple Instance Augmentations [67.46036826589467]
  個々のインスタンス内のサンプルのバリエーションを調べるために、$K$-Shot Contrastive Learningが提案されている。 異なるインスタンスを区別するために差別的特徴を学習することで、インスタンス間差別の利点を組み合わせることを目的としている。 提案した$K$-shotのコントラスト学習は、最先端の教師なし手法よりも優れた性能が得られることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-07-27T04:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。