論文の概要: An Information-Theoretic Framework for Robust Large Language Model Editing

• arxiv url: http://arxiv.org/abs/2512.16227v1
• Date: Thu, 18 Dec 2025 06:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.943996
• Title: An Information-Theoretic Framework for Robust Large Language Model Editing
• Title（参考訳）: ロバストな大言語モデル編集のための情報理論フレームワーク
• Authors: Qizhou Chen, Chengyu Wang, Taolin Zhang, Xiaofeng He,
• Abstract要約: 大規模言語モデル(LLM)は、科学、技術、社会において欠かせない道具となっている。 これらのモデル内のエラーや時代遅れの情報は、その正確性を損なう可能性があり、安全なデプロイメントを制限することができる。 本稿では,情報ボトルネック理論に基づくLLMの編集フレームワークを提案する。 Information Bottleneck Knowledge Editor (IBKE) を提案する。
• 参考スコア（独自算出の注目度）: 17.984683741974063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have become indispensable tools in science, technology, and society, enabling transformative advances across diverse fields. However, errors or outdated information within these models can undermine their accuracy and restrict their safe deployment. Developing efficient strategies for updating model knowledge without the expense and disruption of full retraining remains a critical challenge. Current model editing techniques frequently struggle to generalize corrections beyond narrow domains, leading to unintended consequences and limiting their practical impact. Here, we introduce a novel framework for editing LLMs, grounded in information bottleneck theory. This approach precisely compresses and isolates the essential information required for generalizable knowledge correction while minimizing disruption to unrelated model behaviors. Building upon this foundation, we present the Information Bottleneck Knowledge Editor (IBKE), which leverages compact latent representations to guide gradient-based updates, enabling robust and broadly applicable model editing. We validate IBKE's effectiveness across multiple LLM architectures and standard benchmark tasks, demonstrating state-of-the-art accuracy and improved generality and specificity of edits. These findings establish a theoretically principled and practical paradigm for open-domain knowledge editing, advancing the utility and trustworthiness of LLMs in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学、技術、社会において欠かせない道具となり、様々な分野にわたる変革的な進歩を可能にしている。 しかしながら、これらのモデル内のエラーや時代遅れの情報は、その正確性を損なう可能性があり、安全なデプロイメントを制限することができる。 完全再トレーニングの費用と中断なしにモデル知識を更新するための効率的な戦略を開発することは、依然として重要な課題である。 現在のモデル編集技術は、狭い領域を超えて修正を一般化するのにしばしば苦労し、意図しない結果をもたらし、その実践的影響を制限する。 本稿では,情報ボトルネック理論に基づくLLMの編集フレームワークを提案する。 このアプローチは、非関係なモデル行動の中断を最小限に抑えつつ、一般化可能な知識補正に必要な必須情報を正確に圧縮し、分離する。 この基盤の上に構築されたIBKE(Information Bottleneck Knowledge Editor)は、コンパクトな潜在表現を利用して勾配に基づく更新をガイドし、堅牢で広範囲に適用可能なモデル編集を可能にする。 IBKEの有効性を複数のLLMアーキテクチャと標準ベンチマークタスクで検証し、最先端の精度を示し、編集の汎用性と特異性を改善した。 これらの知見は、オープンドメイン知識編集のための理論的に原則化された実践パラダイムを確立し、現実の応用におけるLLMの有用性と信頼性を向上する。

関連論文リスト

• Retention analysis of edited knowledge after fine-tuning [5.1877231178075425]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。