論文の概要: The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation

• arxiv url: http://arxiv.org/abs/2604.23750v1
• Date: Sun, 26 Apr 2026 14:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.532063
• Title: The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation
• Title（参考訳）: オーバーライドギャップ:ハイパーネットワークに基づくインスタントLCM適応における知識衝突のマグニチュード
• Authors: Shuaizhi Cheng, Xiang Shi, Mingwei Li,
• Abstract要約: ハイパーネットワークベースの手法は、文書を単一のフォワードパスで LLM の重みに内部化する。 この文書が事前訓練された知識と矛盾すると、最も深い事実について精度は46.4%に低下する。 失敗は表現的問題というよりも,大問題であることを示す。
• 参考スコア（独自算出の注目度）: 6.290180827867576
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hypernetwork-based methods such as Doc-to-LoRA internalize a document into an LLM's weights in a single forward pass, but they fail systematically on conflicts: when the document contradicts pretraining knowledge, accuracy collapses to 46.4% on the deepest facts. We show the failure is a magnitude problem rather than a representational one. The hypernetwork already targets the right layers, but its adapter margin is approximately constant across documents while the pretrained margin grows with training frequency, so deep conflicts lose by construction. The account predicts that failure should track prior strength: sorting 194 conflicts by the base model's log-probability on the contradicted fact, baseline accuracy falls from 68% on weak-prior questions to 16% on strong-prior ones, a 52 percentage-point gap. The cure is amplitude. Selective Layer Boosting scales the adapter at its top-norm layers, and Conflict-Aware Internalization triggers boosting only when the base model is confident. Both are training-free; together they raise deep-conflict accuracy from 46.4% to 71.0% on Gemma-2B and from 53.6% to 72.5% on Mistral-7B while preserving novel-knowledge recall, and beat vanilla retrieval-augmented generation on medium conflicts by 18 percentage points despite operating entirely in parameter space. We release KID-Bench, a 489-question benchmark that separates novel recall, cross-knowledge combination, and prior-graded conflicts.
• Abstract（参考訳）: Doc-to-LoRAのようなハイパーネットワークベースの手法は、文書を単一の前方通過でLLMの重みに内部化するが、それらは衝突によって体系的に失敗する。 失敗は表現的問題というよりも,大問題であることを示す。 ハイパーネットワークはすでに正しい層をターゲットとしているが、そのアダプタのマージンはドキュメント間でほぼ一定であり、事前訓練されたマージンはトレーニング頻度で増加するため、建設によって深い衝突が失われる。 矛盾する事実に対して、ベースモデルのログ確率による194の競合をソートすると、ベースラインの精度は、弱いプライオリの質問では68%から、強いプライオリの質問では16%、52ポイントのギャップで低下する。 治療は振幅です。 Selective Layer Boostingはそのトップノーム層でアダプタをスケールし、Conflict-Aware Internalizationはベースモデルに自信がある場合にのみブーイングをトリガーする。 どちらもトレーニング無しであり、共にGemma-2Bで46.4%から71.0%、Mistral-7Bで53.6%から72.5%まで深い衝突の正確さを高め、パラメータ空間で完全に動作しているにもかかわらず、中級紛争でバニラの検索増強世代を18パーセント上回った。 KID-Benchは、新しいリコール、クロス知識の組み合わせ、事前段階の競合を分離する489クエストベンチマークです。

関連論文リスト

• Scalable Multi-Task Low-Rank Model Adaptation [43.22544779625565]
  マルチタスク低ランク適応(LoRA)を多数のタスクに拡張すると、破滅的なパフォーマンス劣化を引き起こす。 規則化や動的ルーティングのような既存のソリューションは、基本的なトレードオフによって制約されるため、スケールで失敗するのです。 3つの新しい設計を持つスケーラブルなソリューションであるmtLoRAを提案する。
  論文  参考訳（メタデータ） (2026-03-02T06:57:11Z)
• EdgeJury: Cross-Reviewed Small-Model Ensembles for Truthful Question Answering on Serverless Edge Inference [0.0]
  EdgeJuryは、真実性と堅牢性を改善する軽量アンサンブルフレームワークです。 TruthfulQA (MC1)では、EdgeJuryの精度は76.2%である。 200-question adversarial EdgeCasesセットでは、EdgeJuryは+48.2%の利得を得る。
  論文  参考訳（メタデータ） (2025-12-29T14:48:40Z)
• That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation [55.78914774437411]
  大規模言語モデル(LLM)は、パラメトリック知識とプロンプトに含まれる矛盾する情報との相違に直面して振る舞う。 このような対立を構築・解釈するためのドメインに依存しないフレームワークを提案する。 本研究では, アクティベーションレベルのステアリングが, ランダムベースライン上でのステアリング成功率を最大12.6%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-10-21T22:27:56Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
  知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。 コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。 ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-11T16:35:18Z)
• Certified Robust Accuracy of Neural Networks Are Bounded due to Bayes Errors [3.350980549219263]
  認定トレーニングは頑丈さを向上するが、精度も著しく低下する。 正確性を保ちながら頑健性を達成するための一定の基本的限界があるかどうかは不明である。 ベイズ誤差をロバスト性解析に適用することにより、確証されたロバスト精度の限界について検討する。
  論文  参考訳（メタデータ） (2024-05-19T13:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。