論文の概要: An Information-Theoretic Framework for Robust Large Language Model Editing

• arxiv url: http://arxiv.org/abs/2512.16227v1
• Date: Thu, 18 Dec 2025 06:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.943996
• Title: An Information-Theoretic Framework for Robust Large Language Model Editing
• Title（参考訳）: ロバストな大言語モデル編集のための情報理論フレームワーク
• Authors: Qizhou Chen, Chengyu Wang, Taolin Zhang, Xiaofeng He,
• Abstract要約: 大規模言語モデル(LLM)は、科学、技術、社会において欠かせない道具となっている。 これらのモデル内のエラーや時代遅れの情報は、その正確性を損なう可能性があり、安全なデプロイメントを制限することができる。 本稿では,情報ボトルネック理論に基づくLLMの編集フレームワークを提案する。 Information Bottleneck Knowledge Editor (IBKE) を提案する。
• 参考スコア（独自算出の注目度）: 17.984683741974063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have become indispensable tools in science, technology, and society, enabling transformative advances across diverse fields. However, errors or outdated information within these models can undermine their accuracy and restrict their safe deployment. Developing efficient strategies for updating model knowledge without the expense and disruption of full retraining remains a critical challenge. Current model editing techniques frequently struggle to generalize corrections beyond narrow domains, leading to unintended consequences and limiting their practical impact. Here, we introduce a novel framework for editing LLMs, grounded in information bottleneck theory. This approach precisely compresses and isolates the essential information required for generalizable knowledge correction while minimizing disruption to unrelated model behaviors. Building upon this foundation, we present the Information Bottleneck Knowledge Editor (IBKE), which leverages compact latent representations to guide gradient-based updates, enabling robust and broadly applicable model editing. We validate IBKE's effectiveness across multiple LLM architectures and standard benchmark tasks, demonstrating state-of-the-art accuracy and improved generality and specificity of edits. These findings establish a theoretically principled and practical paradigm for open-domain knowledge editing, advancing the utility and trustworthiness of LLMs in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学、技術、社会において欠かせない道具となり、様々な分野にわたる変革的な進歩を可能にしている。 しかしながら、これらのモデル内のエラーや時代遅れの情報は、その正確性を損なう可能性があり、安全なデプロイメントを制限することができる。 完全再トレーニングの費用と中断なしにモデル知識を更新するための効率的な戦略を開発することは、依然として重要な課題である。 現在のモデル編集技術は、狭い領域を超えて修正を一般化するのにしばしば苦労し、意図しない結果をもたらし、その実践的影響を制限する。 本稿では,情報ボトルネック理論に基づくLLMの編集フレームワークを提案する。 このアプローチは、非関係なモデル行動の中断を最小限に抑えつつ、一般化可能な知識補正に必要な必須情報を正確に圧縮し、分離する。 この基盤の上に構築されたIBKE(Information Bottleneck Knowledge Editor)は、コンパクトな潜在表現を利用して勾配に基づく更新をガイドし、堅牢で広範囲に適用可能なモデル編集を可能にする。 IBKEの有効性を複数のLLMアーキテクチャと標準ベンチマークタスクで検証し、最先端の精度を示し、編集の汎用性と特異性を改善した。 これらの知見は、オープンドメイン知識編集のための理論的に原則化された実践パラダイムを確立し、現実の応用におけるLLMの有用性と信頼性を向上する。

関連論文リスト

• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• EtCon: Edit-then-Consolidate for Reliable Knowledge Editing [85.20993502078899]
  本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。 本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
  論文  参考訳（メタデータ） (2025-12-04T12:43:50Z)
• Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
  大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
  論文  参考訳（メタデータ） (2025-11-25T22:15:00Z)
• Retention analysis of edited knowledge after fine-tuning [5.1877231178075425]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• ThinkEval: Practical Evaluation of Knowledge Leakage in LLM Editing using Thought-based Knowledge Graphs [3.9295613363026174]
  モデル編集における間接的知識漏洩とリップル効果を定量化するフレームワークであるThinkEvalを提案する。 ThinkEvalは、編集前後の事実の因果構造を分析するために、専門知識グラフを構築し、採用する。 我々はAlphaEdit, RECT, ROME, MEMIT, PRUNEの5つの編集技術を評価する。
  論文  参考訳（メタデータ） (2025-06-02T07:24:12Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。