論文の概要: When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

• arxiv url: http://arxiv.org/abs/2605.26350v1
• Date: Mon, 25 May 2026 21:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.479194
• Title: When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning
• Title（参考訳）: 正しい示し方: 文脈内学習における経験者の役割を再考する
• Abstract要約: インコンテキスト学習(ICL)は、しばしばデモが正しいインプット・アウトプットの例を提供するために役立つ直感によって動機づけられる。 有効性は保証されていないことを示し、いくつかの正しい実演はICLの精度を低下させることさえできることを示した。 以上の結果から,頑健なICLは実演が正しいかどうかだけでなく,文脈的推論にどのように影響するかを評価する必要があることが示唆された。
• 参考スコア（独自算出の注目度）: 14.102553871638243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) is often motivated by the intuition that demonstrations help because they provide correct input-output examples. However, we reveal a counterintuitive phenomenon: correctness does not guarantee exemplar utility, and some correct demonstrations can even reduce ICL accuracy. To study this correctness-utility gap, we introduce task-preserving perturbations, where only the exemplar input is changed, while the example remains a correct instance of the same task. Concretely, each perturbed exemplar is assigned the target induced by the task mapping. This framework covers both label-updating perturbations, where task-relevant semantics change and targets are recomputed, and stricter target-preserving perturbations, where the original target remains valid. We formalize the resulting failure mode as contextual evidence shift: task-preserving perturbations can change the effective mixture of evidence used by the model for contextual inference, thereby separating exemplar correctness from exemplar utility. Across sentiment classification, logical reasoning, and math word problems, we find that task-preserving perturbed demonstrations can substantially degrade ICL performance, especially for smaller models, harder tasks, and higher perturbation ratios. Our results show that robust ICL requires evaluating not only whether demonstrations are correct, but also how they influence contextual inference. Code is available at https://github.com/Chenghao-Qiu/Task-Preserving-ICL.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、しばしばデモが正しいインプット・アウトプットの例を提供するために役立つ直感によって動機づけられる。 しかし、直感的な現象として、正しさは典型的な実用性を保証するものではなく、正しい実演によってICLの精度を低下させることもある。 この正当性・実用性ギャップを研究するために,タスク保存摂動を導入し,その例は同じタスクの正しいインスタンスでありながら,模範的な入力だけを変更する。 具体的には,タスクマッピングによって誘導される目標に対して,各摂動例を割り当てる。 このフレームワークは、タスク関連セマンティクスが変更され、ターゲットが再コンパイルされるラベル更新摂動と、元のターゲットが有効であるターゲット保存摂動の両方をカバーする。 タスク保存摂動は、そのモデルがコンテキスト推論に用いたエビデンスを効果的に混合することにより、模範的効用から模範的正当性を切り離すことができる。 感情分類や論理的推論,数学的単語問題などを通じて,タスク保存型摂動実証はICLの性能を著しく低下させ,特により小さなモデル,より難しいタスク,より高い摂動比で向上させる。 以上の結果から,頑健なICLは実演が正しいかどうかだけでなく,文脈的推論にどのように影響するかを評価する必要があることが示唆された。 コードはhttps://github.com/Chenghao-Qiu/Task-Preserving-ICLで公開されている。

関連論文リスト

• Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models [0.0]
  最近の研究は、いくつかの大きな言語モデル表現が内容や参照を持っていることを示唆している。 この論文はそのギャップから何に従うか尋ねる。 出力は、目標とタスク固有のアレンジメントが生成し、受け入れ、または取り下げるものに相違がある場合、応答可能である。
  論文  参考訳（メタデータ） (2026-08-14T12:30:19Z)
• When Is a Task Vector Enough? An Empirical Theory of Implicit Multimodal ICL [2.964628733433076]
  Inlicit Multimodal In-context Learningは、静的タスクベクトルからクエリ条件変換、アテンションルーティングまで、デモを内部の介入に圧縮する。 提案するSelection-Realization hypothesisは,クエリが選択する内部変化のコンパクトなファミリを誘導するものだ。 一致した反事実と正しい実演を対比することにより、明示的なM-ICLの構造を測定し、介入行動を予測するかどうかを調べる。
  論文  参考訳（メタデータ） (2026-08-13T15:46:50Z)
• Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations [1.9662978733004601]
  デモンストレーションから報酬関数を学ぶことは、デモがすべての機能に対して適切な監視を提供すると仮定する。 人間は認知的負荷や身体的困難のために、特定の特徴を過小評価することがある。 本稿では,そのような不特定特徴を検知し,対象とする修正デモを積極的に行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-21T19:34:14Z)
• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
  自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
  論文  参考訳（メタデータ） (2025-10-20T08:40:16Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Disentangling Latent Shifts of In-Context Learning with Weak Supervision [0.0]
  In-context Learning (ICL)により、大規模言語モデルでは、プロンプト内のラベル付き例を条件にすることで、少数ショット学習が可能となる。 柔軟性にも拘わらず、ICLはより多くのデモで即時長が増加するにつれて不安定に悩まされる。 提案手法は,実演による潜時変化をクエリから切り離すパラメータ効率の手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T13:00:21Z)
• Enhancing In-Context Learning via Implicit Demonstration Augmentation [26.78252788538567]
  In-context Learning (ICL) は、事前訓練された言語モデルがパラメータを更新せずに未確認入力の予測を行うことを可能にする。 その可能性にもかかわらず、ICLの有効性はデモの質、量、置換に大きく依存している。 本稿では,この課題に初めて挑戦する。
  論文  参考訳（メタデータ） (2024-06-27T05:25:46Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Enhancing Vision-Language Few-Shot Adaptation with Negative Learning [11.545127156146368]
  我々は,タスク固有の知識をより効率的に活用するための,シンプルで効果的な否定的学習手法SimNLを提案する。 そこで本研究では,雑音を緩和するために,プラグアンドプレイによる数発のインスタンス再重み付け手法を提案する。 提案したSimNLは,少数ショット学習とドメイン一般化の両タスクにおいて,既存の最先端手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:39Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。