論文の概要: When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

• arxiv url: http://arxiv.org/abs/2605.26350v1
• Date: Mon, 25 May 2026 21:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.479194
• Title: When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning
• Title（参考訳）: 正しい示し方: 文脈内学習における経験者の役割を再考する
• Authors: Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou,
• Abstract要約: インコンテキスト学習(ICL)は、しばしばデモが正しいインプット・アウトプットの例を提供するために役立つ直感によって動機づけられる。 有効性は保証されていないことを示し、いくつかの正しい実演はICLの精度を低下させることさえできることを示した。 以上の結果から,頑健なICLは実演が正しいかどうかだけでなく,文脈的推論にどのように影響するかを評価する必要があることが示唆された。
• 参考スコア（独自算出の注目度）: 14.102553871638243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) is often motivated by the intuition that demonstrations help because they provide correct input-output examples. However, we reveal a counterintuitive phenomenon: correctness does not guarantee exemplar utility, and some correct demonstrations can even reduce ICL accuracy. To study this correctness-utility gap, we introduce task-preserving perturbations, where only the exemplar input is changed, while the example remains a correct instance of the same task. Concretely, each perturbed exemplar is assigned the target induced by the task mapping. This framework covers both label-updating perturbations, where task-relevant semantics change and targets are recomputed, and stricter target-preserving perturbations, where the original target remains valid. We formalize the resulting failure mode as contextual evidence shift: task-preserving perturbations can change the effective mixture of evidence used by the model for contextual inference, thereby separating exemplar correctness from exemplar utility. Across sentiment classification, logical reasoning, and math word problems, we find that task-preserving perturbed demonstrations can substantially degrade ICL performance, especially for smaller models, harder tasks, and higher perturbation ratios. Our results show that robust ICL requires evaluating not only whether demonstrations are correct, but also how they influence contextual inference. Code is available at https://github.com/Chenghao-Qiu/Task-Preserving-ICL.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、しばしばデモが正しいインプット・アウトプットの例を提供するために役立つ直感によって動機づけられる。 しかし、直感的な現象として、正しさは典型的な実用性を保証するものではなく、正しい実演によってICLの精度を低下させることもある。 この正当性・実用性ギャップを研究するために,タスク保存摂動を導入し,その例は同じタスクの正しいインスタンスでありながら,模範的な入力だけを変更する。 具体的には,タスクマッピングによって誘導される目標に対して,各摂動例を割り当てる。 このフレームワークは、タスク関連セマンティクスが変更され、ターゲットが再コンパイルされるラベル更新摂動と、元のターゲットが有効であるターゲット保存摂動の両方をカバーする。 タスク保存摂動は、そのモデルがコンテキスト推論に用いたエビデンスを効果的に混合することにより、模範的効用から模範的正当性を切り離すことができる。 感情分類や論理的推論,数学的単語問題などを通じて,タスク保存型摂動実証はICLの性能を著しく低下させ,特により小さなモデル,より難しいタスク,より高い摂動比で向上させる。 以上の結果から,頑健なICLは実演が正しいかどうかだけでなく,文脈的推論にどのように影響するかを評価する必要があることが示唆された。 コードはhttps://github.com/Chenghao-Qiu/Task-Preserving-ICLで公開されている。

関連論文リスト

• Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations [1.9662978733004601]
  デモンストレーションから報酬関数を学ぶことは、デモがすべての機能に対して適切な監視を提供すると仮定する。 人間は認知的負荷や身体的困難のために、特定の特徴を過小評価することがある。 本稿では,そのような不特定特徴を検知し,対象とする修正デモを積極的に行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-21T19:34:14Z)
• Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
  自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
  論文  参考訳（メタデータ） (2025-10-20T08:40:16Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Disentangling Latent Shifts of In-Context Learning with Weak Supervision [0.0]
  In-context Learning (ICL)により、大規模言語モデルでは、プロンプト内のラベル付き例を条件にすることで、少数ショット学習が可能となる。 柔軟性にも拘わらず、ICLはより多くのデモで即時長が増加するにつれて不安定に悩まされる。 提案手法は,実演による潜時変化をクエリから切り離すパラメータ効率の手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T13:00:21Z)
• Enhancing In-Context Learning via Implicit Demonstration Augmentation [26.78252788538567]
  In-context Learning (ICL) は、事前訓練された言語モデルがパラメータを更新せずに未確認入力の予測を行うことを可能にする。 その可能性にもかかわらず、ICLの有効性はデモの質、量、置換に大きく依存している。 本稿では,この課題に初めて挑戦する。
  論文  参考訳（メタデータ） (2024-06-27T05:25:46Z)
• Enhancing Vision-Language Few-Shot Adaptation with Negative Learning [11.545127156146368]
  我々は,タスク固有の知識をより効率的に活用するための,シンプルで効果的な否定的学習手法SimNLを提案する。 そこで本研究では,雑音を緩和するために,プラグアンドプレイによる数発のインスタンス再重み付け手法を提案する。 提案したSimNLは,少数ショット学習とドメイン一般化の両タスクにおいて,既存の最先端手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。