論文の概要: CrispEdit: Low-Curvature Projections for Scalable Non-Destructive LLM Editing

• arxiv url: http://arxiv.org/abs/2602.15823v1
• Date: Tue, 17 Feb 2026 18:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:18.172418
• Title: CrispEdit: Low-Curvature Projections for Scalable Non-Destructive LLM Editing
• Title（参考訳）: CrispEdit: スケーラブルな非破壊LDM編集のための低曲率プロジェクション
• Authors: Zarif Ikram, Arad Firouzkouhi, Stephen Tu, Mahdi Soltanolkotabi, Paria Rashidinejad,
• Abstract要約: CrispEditは、機能保存を明示的な制約として扱う、原則化された2階編集アルゴリズムである。 CrispEditは、データセット全体の平均1%未満の機能劣化を維持しながら、高い編集成功を実現していることを示す。
• 参考スコア（独自算出の注目度）: 25.410131838577907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in large language model (LLM) editing is capability preservation: methods that successfully change targeted behavior can quietly game the editing proxy and corrupt general capabilities, producing degenerate behaviors reminiscent of proxy/reward hacking. We present CrispEdit, a scalable and principled second-order editing algorithm that treats capability preservation as an explicit constraint, unifying and generalizing several existing editing approaches. CrispEdit formulates editing as constrained optimization and enforces the constraint by projecting edit updates onto the low-curvature subspace of the capability-loss landscape. At the crux of CrispEdit is expressing capability constraint via Bregman divergence, whose quadratic form yields the Gauss-Newton Hessian exactly and even when the base model is not trained to convergence. We make this second-order procedure efficient at the LLM scale using Kronecker-factored approximate curvature (K-FAC) and a novel matrix-free projector that exploits Kronecker structure to avoid constructing massive projection matrices. Across standard model-editing benchmarks, CrispEdit achieves high edit success while keeping capability degradation below 1% on average across datasets, significantly improving over prior editors.
• Abstract（参考訳）: 大きな言語モデル(LLM)編集における中心的な課題は、機能保存である。ターゲットの動作をうまく変更するメソッドは、編集プロキシと腐敗した汎用機能を静かにゲームし、プロキシ/リワードハッキングを連想させる退化した動作を生成することができる。 本稿では,CrispEditを提案する。CrispEditはスケーラブルで原則化された2階編集アルゴリズムで,機能保存を明示的な制約として扱い,既存の編集アプローチを統一・一般化する。 CrispEditは、編集を制約付き最適化として定式化し、編集の更新をキャパシティロスランドスケープの低曲率部分空間に投影することで制約を強制する。 CrispEdit のクルックスでは、ブレグマン発散(英語版)による能力制約を表現しており、その二次形式はガウス・ニュートン・ヘッセン(英語版)を正確に生成する。 我々は、Kronecker-factored approximate curvature (K-FAC) と、Kronecker構造を利用する新しい行列フリープロジェクタを用いて、LLMスケールでこの2次手順を効率的にする。 標準モデル編集ベンチマーク全体を通じて、CrispEditは、データセット全体の平均1%未満の能力低下を維持しながら、高い編集成功を実現し、以前のエディタよりも大幅に改善されている。

関連論文リスト

• Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing [16.768713543557443]
  モデル編集は、関係のない振る舞いを保持しながら、再トレーニングすることなく、新しい事実やルールで事前訓練された更新を行う。 長い逐次編集のための最小二乗エディタ RLSEdit を提案する。 複数のモデルファミリの実験は、10K編集への安定したスケーリングを示し、編集成功と全体安定性の両方において強力なベースラインを達成している。
  論文  参考訳（メタデータ） (2026-01-22T06:11:44Z)
• Fine-tuning Done Right in Model Editing [83.79661791576103]
  大規模な言語モデルを適応するための基礎的な手法であるファインチューニングは、長い間モデル編集には有効ではないと考えられてきた。 ミニバッチ最適化により、標準的な幅優先パイプライン(エポックベース)に微調整を復元する。 我々は、復元された微調整フレームワーク上に構築された、シンプルで効果的なローカライズド編集手法であるLocFT-BFを導出する。
  論文  参考訳（メタデータ） (2025-09-26T08:53:13Z)
• Visual Autoregressive Modeling for Instruction-Guided Image Editing [97.04821896251681]
  画像編集を次世代の予測問題として再編成する視覚的自己回帰フレームワークを提案する。 VarEditは、正確な編集を実現するために、マルチスケールのターゲット機能を生成する。 1.2秒で512times512$編集を完了し、同じサイズのUltraEditよりも2.2$times$高速になった。
  論文  参考訳（メタデータ） (2025-08-21T17:59:32Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• Constraining Sequential Model Editing with Editing Anchor Compression [40.93064933191375]
  大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。 本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。 逐次的編集におけるパラメータ行列の偏差を抑制するため,EAC (Editing Anchor Compression) というフレームワークが提案されている。
  論文  参考訳（メタデータ） (2025-02-25T03:56:49Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• A Structural Model for Contextual Code Changes [20.185486717922615]
  部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。 提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
  論文  参考訳（メタデータ） (2020-05-27T07:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。