論文の概要: When Context Misleads: In-context Learning with Jurisdiction in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.27603v1
• Date: Wed, 23 Sep 2026 09:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.966933
• Title: When Context Misleads: In-context Learning with Jurisdiction in Large Language Models
• Title（参考訳）: 文脈の誤り:大規模言語モデルにおける判断による文脈内学習
• Abstract要約: Jurisdiction In-Context Learning (J-ICL) は、文脈検証をトレーニング目的に組み込んだポストトレーニングフレームワークである。 ICLEvalを平均5.84ポイント改善し、現実の精度を対応するベースモデルよりも9.20ポイント向上する。 また、MetaICLやSymbol Tuningと比較して平均18.09ポイントのARレートも引き上げている。
• 参考スコア（独自算出の注目度）: 4.902430232014152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) has become a cornerstone of modern LLM deployment. However, existing ICL post-training methods have a critical blind spot: they excel at extracting patterns from demonstrations while often neglecting context authority, the ability to determine whether contextual information should govern the final answer. To benchmark this capability, we introduce FakeContextBench, which contains pseudoscientific claims across seven domains. Our evaluation of commercial and open-source models shows that large-scale pre-training alone is insufficient for reliable context-authority discrimination. Moreover, prevalent ICL fine-tuning methods can increase susceptibility to misleading context, reducing reality accuracy by up to 14.95 percentage points relative to the base model. To address this trade-off, we propose Jurisdiction In-Context Learning (J-ICL), a post-training framework that incorporates context validation into the training objective. Across four model backbones, J-ICL improves ICLEval by an average of 5.84 percentage points and reality accuracy by 9.20 points over the corresponding base models. It also raises the Reality Rate by an average of 18.09 points relative to MetaICL and Symbol Tuning. These results demonstrate that ICL capability and resistance to deceptive context can be improved together. The benchmark is available at https://github.com/peilin717/FakeContext-Bench.
• Abstract（参考訳）: In-Context Learning (ICL)は、現代のLLMデプロイメントの基盤となっている。 しかし、既存のICLポストトレーニング手法は、しばしば文脈権限を無視しながらデモからパターンを抽出し、文脈情報が最終回答を支配すべきかどうかを判断する能力に優れており、重要な盲点となっている。 この能力をベンチマークするために、7つのドメインにまたがる疑似科学的クレームを含むFakeContextBenchを紹介します。 商用およびオープンソースモデルの評価は、大規模事前学習だけでは信頼性の高いコンテキスト-オーソリティ識別には不十分であることを示している。 さらに、ICLファインチューニング手法は、誤解を招く状況に対する感受性を高め、現実の精度をベースモデルに対して最大14.95ポイント削減することができる。 このトレードオフに対処するため,本稿では,文脈検証をトレーニング対象に組み込んだポストトレーニングフレームワークであるJ-ICLを提案する。 4つのモデルのバックボーンで、J-ICLはICLEvalを平均5.84ポイント改善し、現実の精度は対応するベースモデルよりも9.20ポイント向上する。 また、MetaICLやSymbol Tuningと比較して平均18.09ポイントのARレートも引き上げている。 これらの結果から,ICLの能力と知覚的文脈に対する抵抗性を共に改善できることが示唆された。 ベンチマークはhttps://github.com/peilin717/FakeContext-Benchで公開されている。

関連論文リスト

• Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge [21.86609553205461]
  大規模言語モデル(LLM)は、ユーザが提供する知識に基づく応答生成をますますサポートしている。 TKFQAは10,130の質問回答(QA)ペアをテーブル,テキスト,知識グラフ(KG)に接地した実数整合性ベンチマークである。 それぞれの例は明示的な反事実的推論チェーンから構築され、回答の正しさ、推論チェーンの精度、異なる入力順序に対するロバスト性などの共同評価を可能にする。
  論文  参考訳（メタデータ） (2026-08-08T00:46:32Z)
• Private PoEtry: Private In-Context Learning via Product of Experts [58.496468062236225]
  In-context Learning (ICL) は、大規模言語モデルが推論時に少数の例だけで新しいタスクに適応できるようにする。 ICLに対する既存の差分プライバシーアプローチは、計算コストが高いか、オーバーサンプリング、合成データ生成、あるいは不要なしきい値設定に依存している。 我々は、Product-of-Expertsモデルのレンズを通してプライベートICLを再構成し、理論的に基盤付けられたフレームワークを与え、アルゴリズムを自明に並列化することができる。 本手法は,従来のDP-ICL法と比較して平均30ポイント以上精度が向上し,高いプライバシー保証を維持した。
  論文  参考訳（メタデータ） (2026-02-04T19:56:24Z)
• Predicting Task Performance with Context-aware Scaling Laws [56.6850444554434]
  本稿では、トレーニング計算と提供されたコンテキストの関数として、下流のパフォーマンスを協調的にモデル化する、単純かつ解釈可能なフレームワークを提案する。 我々は,Llama-2-7BおよびLlama-2-13Bの拡張コンテキスト変種について,観測された下流性能に適合させることで,我々の枠組みを実証的に検証した。 以上の結果から,我々のフレームワークは,配信中のダウンストリーム性能を正確にモデル化し,トレーニング計算において3桁の規模で一般化し,コンテキストの増大とともに性能を確実に外挿することを示す。
  論文  参考訳（メタデータ） (2025-10-16T17:35:18Z)
• LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization [9.410181019585822]
  我々は、モデル出力の正しさを予測できるかどうかを確認するために、解釈可能性法を運用する。 私たちは正しい、間違った、無関係なコンテキストを考え、それらを区別するためのメトリクスを導入します。 モデル内部のメトリクスは、正しいコンテキストと不正確なコンテキストを区別する基準線を著しく上回る。
  論文  参考訳（メタデータ） (2025-10-05T03:14:05Z)
• Bayesian scaling laws for in-context learning [85.34114399339741]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者に近似していることを示し、ICCの新しいベイズスケーリング法を生み出した。 我々のスケーリング法則は既存のスケーリング法則と精度で一致し、タスクの優先順位、学習効率、サンプルごとの確率の解釈可能な用語も提供します。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• Deeper Insights Without Updates: The Power of In-Context Learning Over Fine-Tuning [22.341935761925892]
  ファインチューニングとインコンテキスト学習(ICL)は、タスク固有の知識で大きな言語モデルを出力する2つの一般的な方法である。 暗黙的なパターンを持つタスクに対して、ICLはこれらのパターンを微調整よりもはるかによくキャプチャする。
  論文  参考訳（メタデータ） (2024-10-07T02:12:22Z)
• ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
  In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。 既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-21T08:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。