論文の概要: Editing Large Language Models with Geometry-Aware Regularization

• arxiv url: http://arxiv.org/abs/2611.06185v1
• Date: Wed, 04 Nov 2026 09:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.035748
• Title: Editing Large Language Models with Geometry-Aware Regularization
• Title（参考訳）: 幾何を考慮した正規化による大規模言語モデルの編集
• Abstract要約: GEditは、Transformer FFN隠れ表現の固有の低ランク構造をキャプチャする低ランクプラス対角(LR+D)因子モデルに基づいて構築された幾何学的フレームワークである。 GPT2-XL, GPT-J, LLaMA-3-8Bの大規模編集シナリオにおける実験により、GEditは編集成功と知識保存の両方において、最先端のベースラインを一貫して大幅に上回っていることが示された。
• 参考スコア（独自算出の注目度）: 14.448598229631196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing has become a key technique for updating knowledge in large language models. However, existing methods neglect the geometric structure of the knowledge representation space, leading to two key limitations: they cannot distinguish which pre-trained knowledge should be preferentially preserved (core vs. non-core) nor which new edits are inherently difficult (hard vs. easy). To address this, we propose GEdit, a geometry-aware framework built on a Low-Rank Plus Diagonal (LR+D) factor model that captures the intrinsic low-rank structure of Transformer FFN hidden representations. GEdit features two complementary mechanisms. First, the low-rank regularization applies targeted protection on a low-rank core knowledge subspace. Second, the adaptive regularization dynamically adjusts the regularization strength based on each edit request's editability: relaxing constraints for hard edits to ensure success, and tightening them for easy edits to better preserve pretrained knowledge. Extensive experiments on GPT2-XL, GPT-J, and LLaMA-3-8B under large-scale editing scenarios, including both mini-batch and fully sequential editing settings with up to 10,000 continuous updates, show that GEdit consistently and significantly outperforms state-of-the-art baselines in both editing success and knowledge preservation.
• Abstract（参考訳）: 知識編集は、大規模言語モデルにおける知識を更新するための重要な技術となっている。 しかし、既存の手法は知識表現空間の幾何学的構造を無視しており、事前学習された知識が優先的に保存されるべきもの(コア対非コア)や、新しい編集が本質的に困難であるもの(ハード対簡単)を区別できないという2つの重要な制限に繋がる。 そこで我々は,Transformer FFN隠れ表現の内在的低ランク構造をキャプチャする低ランクプラス対角(LR+D)因子モデル上に構築された幾何対応フレームワークであるGEditを提案する。 GEditには2つの補完メカニズムがある。 まず、低ランクの正規化は、低ランクのコア知識サブスペースに対してターゲット保護を適用する。 第2に、適応正則化は、各編集要求の編集可能性に基づいて、動的に正規化強度を調整する。 GPT2-XL, GPT-J, LLaMA-3-8B の大規模な編集シナリオに対する大規模な実験では、ミニバッチと完全シーケンシャルな編集設定の両方を最大10,000回の連続的な更新で実施し、GEdit が編集成功と知識保存の両方において、最先端のベースラインを一貫して大幅に上回っていることを示した。

関連論文リスト

• Generalizable Lifelong Model Editing via Preference Optimization [21.10264090626046]
  本稿では,知識編集と選好最適化を組み合わせたGLIME(Generalizable Lifelong Model Editing)を提案する。 実験の結果,GLIMEは,編集性能と汎用性の両方を維持しつつ,生涯編集設定における知識の一般化を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2026-09-29T05:19:52Z)
• ManiEdit: Sequential Unstructured Knowledge Editing for Language Models from a Manifold Perspective [49.83428734814549]
  既存のモデル編集手法は、構造化されていない長文の知識を逐次編集するのに苦労する。 ManiEditは、2つのコアコンポーネントからなる新しい多様体対応編集フレームワークである。 ManiEditは最先端のパフォーマンスを実現し、最強のベースラインである+27.81 BERTScoreと+8.50 ROUGE-Lを上回った。
  論文  参考訳（メタデータ） (2026-09-27T13:02:43Z)
• Reproducibility Study of "AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models" [0.0]
  そこで本研究では,AlphaEditについて検討し,その報告結果を元の実験環境下で再現する。 我々は、BooolQ、HellaSwag、XSTestという3つの余分なベンチマークで、編集されたモデルの評価を拡張した。 結果,AlphaEditはもともとのスコープで報告されたように動作することを確認した。
  論文  参考訳（メタデータ） (2026-06-25T09:20:00Z)
• The Labyrinth and the Thread: Rethinking Regularizations in Sequential Knowledge Editing for Large Language Models [15.376868559569623]
  我々はまずAlphaEditの実証的な成功を分析し、厳密な最適化分析により、1回と逐次編集の形式的等価性を確立する。 信頼性の高いシーケンシャルアップデートには,多くの一般的な正規化戦略が不要であることを実証的に確認する。 私たちの研究は、Ariadne氏のスレッドにシーケンシャルな編集のラビリンスを通し、よりシンプルで、より解釈可能で、信頼性の高い知識更新への道をチャート化します。
  論文  参考訳（メタデータ） (2026-05-26T08:07:25Z)
• CoEditor++: Instruction-based Visual Editing via Cognitive Reasoning [98.98349220451216]
  CoEditor++は、編集を"編集する方法"と"編集方法"に分解する、トレーニング不要のフレームワークである。 我々は,CoEditor++が編集タスクと編集タスクの両方において,最先端のパフォーマンスを実現することを示す。 以上の結果から,認知中心型画像編集の可能性が示唆された。
  論文  参考訳（メタデータ） (2026-01-31T12:20:46Z)
• HyperEdit: Unlocking Instruction-based Text Editing in LLMs via Hypernetworks [19.648438719273024]
  本稿では,要求固有パラメータを生成するハイパーネットワークに基づく動的適応手法を提案する。 我々は、修正されたスパンの監督に焦点を合わせ、過剰な編集を防ぐ差分認識正規化を開発する。 HyperEditは、最先端のベースラインに対して修正されたリージョン上でのBLEUの相対的な改善を9%--30%達成している。
  論文  参考訳（メタデータ） (2025-12-14T04:28:39Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。