論文の概要: Where to show Demos in Your Prompt: A Positional Bias of In-Context Learning

• arxiv url: http://arxiv.org/abs/2507.22887v1
• Date: Wed, 30 Jul 2025 17:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.394192
• Title: Where to show Demos in Your Prompt: A Positional Bias of In-Context Learning
• Title（参考訳）: プロンプトでデモを見せる場所:インテクスト学習の位置的バイアス
• Authors: Kwesi Cobbina, Tianyi Zhou,
• Abstract要約: In-context Learning (ICL)は、大規模言語モデル(LLM)の重要な新興能力である。 本稿では,ICLの新たな位置バイアスを初めて明らかにした。 我々は,デモの位置,システムプロンプト,ユーザメッセージが変化すると,予測と精度が劇的に低下するのを観察する。
• 参考スコア（独自算出の注目度）: 19.313795358097483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) is a critical emerging capability of large language models (LLMs), enabling few-shot learning during inference by including a few demonstrations (demos) in the prompt. However, it has been found that ICL's performance can be sensitive to the choices of demos and their order. This paper investigates an unexplored new positional bias of ICL for the first time: we observe that the predictions and accuracy can drift drastically when the positions of demos, the system prompt, and the user message in LLM input are varied. We refer to this bias as DEMOS' POSITION IN PROMPT (DPP) bias. We design a systematic evaluation pipeline to study this type of positional bias across classification, question answering, summarization, and reasoning tasks. We introduce two metrics, ACCURACY-CHANGE and PREDICTION-CHANGE, to quantify net gains and output volatility induced by changes in the demos' position. Extensive experiments on ten LLMs from four open-source model families (QWEN, LLAMA3, MISTRAL, COHERE) verify that the bias significantly affects their accuracy and predictions: placing demos at the start of the prompt yields the most stable and accurate outputs with gains of up to +6 points. In contrast, placing demos at the end of the user message flips over 30\% of predictions without improving correctness on QA tasks. Smaller models are most affected by this sensitivity, though even large models remain marginally affected on complex tasks.
• Abstract（参考訳）: In-context Learning(ICL)は、大規模言語モデル(LLM)の重要な新興能力である。 しかし、ICLのパフォーマンスはデモの選択とその順序に敏感であることが判明した。 本稿では、ICLの新たな位置バイアスを初めて明らかにし、デモの位置、システムプロンプト、LSM入力中のユーザメッセージが変化した場合、予測と精度が劇的に低下するのを観察する。 我々はこのバイアスをDEMOSのPSITION IN PROMPT(DPP)バイアスと呼ぶ。 我々は、分類、質問応答、要約、推論タスクにまたがるこの種の位置バイアスを研究するために、体系的な評価パイプラインを設計する。 本稿では,デモの姿勢の変化によって引き起こされる純利得とボラティリティを定量化する2つの指標,ACCURACY-CHANGEとPrediction-CHANGEを紹介する。 4つのオープンソースモデルファミリ(QWEN, LLAMA3, MISTRAL, COHERE)の10のLLMに対する大規模な実験により、バイアスがそれらの精度と予測に大きく影響することが確認された。 対照的に、ユーザメッセージの最後にデモを置くと、QAタスクの正確性を改善することなく、30%以上の予測が反転する。 より小さなモデルは、この感度に最も影響を受けていますが、大きなモデルでさえも複雑なタスクにわずかに影響を受けます。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
  大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。 近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。 本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-01T19:04:17Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions [5.187383020960245]
  大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な機能を示した。 これまでの研究では、これらのモデルが素早い言葉の表現に敏感であること、そして数発のデモとその順序が示されている。 本稿では,複数質問における選択肢の順序に対するLLMの感度について検討する。
  論文  参考訳（メタデータ） (2023-08-22T14:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。