論文の概要: FisherEdit: Fisher Information Guided Knowledge Editing for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.25914v1
• Date: Mon, 19 Oct 2026 07:17:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:20:24.488614
• Title: FisherEdit: Fisher Information Guided Knowledge Editing for Large Language Models
• Title（参考訳）: FisherEdit: 大規模言語モデルのための魚情報ガイドによる知識編集
• Abstract要約: LLM(Large Language Models)における逐次知識編集は、累積パラメータ干渉による一般的な能力の低下につながることが多い。 我々は、粗い活性化空間の投影をパラメータ空間の重要度に配慮した正規化に置き換える、フィッシャー幾何学に基づく理論的基礎付け手法であるFisherEditを提案する。 Llama-3、Qwen2.5、Olmo-3の実験では、FisherEditはモデルの安定性とダウンストリームタスクの精度を向上しつつ、最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 64.86576435607034
• License:
• Abstract: Sequential knowledge editing in Large Language Models (LLMs) often leads to a degradation of general capabilities due to cumulative parameter interference. In this paper, we revisit prominent projection-based methods like AlphaEdit and reveal a surprising mismatch: their robustness is primarily driven by update regularization rather than the intended null-space projection. Based on this insight, we propose FisherEdit, a theoretically grounded method built on Fisher geometry, which replaces coarse activation-space projections with importance-aware regularization in parameter space. It penalizes changes to sensitive parameters more strongly while retaining flexibility for new facts, and admits an efficient row-wise closed-form solution. Experiments on Llama-3, Qwen2.5, and Olmo-3 across multiple benchmarks demonstrate that FisherEdit achieves state-of-the-art performance while better preserving model stability and downstream task accuracy.
• Abstract（参考訳）: LLM(Large Language Models)における逐次知識編集は、累積パラメータ干渉による一般的な能力の低下につながることが多い。 本稿ではAlphaEditのような顕著なプロジェクションベースの手法を再検討し、意外なミスマッチを明らかにする。 この知見に基づいて、パラメータ空間における粗い活性化空間の投影と重要度を考慮した正規化を置き換えた、フィッシャー幾何学に基づく理論的基礎付け手法であるFisherEditを提案する。 新たな事実に対する柔軟性を維持しつつ、より敏感なパラメータの変更をペナルティ化し、効率的な行単位のクローズドフォームソリューションを認める。 複数のベンチマークでLlama-3、Qwen2.5、Olmo-3の実験を行った結果、FisherEditは最先端のパフォーマンスを実現し、モデルの安定性とダウンストリームタスクの精度を向上した。

関連論文リスト

• From Uncertainty to Stability and Fidelity: Guiding Sparse-View 3D Gaussian Splatting with Fisher Information [55.09838774957981]
  3D Gaussian Splatting (3DGS) は新規な視点合成のための有望な技術として登場している。 スパースビューのシナリオでは、3DGSは過度に適合する傾向があり、顕著なアーティファクトとレンダリング品質が低下する。 本稿では,幾何的事前利用と正規化を定量的に導くために,フィッシャー情報を利用したスパースビュー3DGSを提案する。
  論文  参考訳（メタデータ） (2026-06-18T18:27:17Z)
• Fisher-Guided Progressive Parameter Selection for Adaptive Fine-Tuning [5.8006596438443125]
  TextbfFisherAdapTuneはFisherジオメトリの時間的ドリフトを追跡することでパラメータ群を選択するFisher-Guided Adaptive Fine-Tuningフレームワークである。 我々は,下流セグメンテーションタスクに対するアプローチを評価し,FisherAdapTuneが複数設定で分散性能とゼロショット転送を改善したことを示す。
  論文  参考訳（メタデータ） (2026-06-08T21:35:11Z)
• Fisher-Preserving Guidance: Training-Free Manifold Constraints for Safe Diffusion Control [34.600386598224325]
  拡散モデルは視覚ナビゲーションにおけるウェイポイント予測に有効であるが、標準サンプリングとテスト時間ガイダンスは信頼性の低い軌道を生成することができる。 本研究では,大規模な漁獲量削減を目的としたトレーニングフリー推論手法である,外部製品スパン投影による魚介類保存誘導手法を提案する。 提案手法は,低ランクのジャコビアン因子分解によるフィッシャー保存更新を計算し,ステップ毎に1回だけバックワードパスを要し,リアルタイム使用を可能にする。
  論文  参考訳（メタデータ） (2026-05-28T13:47:31Z)
• Functionality-Oriented LLM Merging on the Fisher--Rao Manifold [14.349284217707575]
  重み空間のマージは、複数の微調整LDMを再訓練せずに単一のモデルに組み合わせることを目的としている。 我々は,標準を守り,マルチエキスパートマージに直接一般化する軽量な球面プロキシを用いて,実用的な固定点アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2026-03-05T09:08:38Z)
• Fine-tuning Done Right in Model Editing [83.79661791576103]
  大規模な言語モデルを適応するための基礎的な手法であるファインチューニングは、長い間モデル編集には有効ではないと考えられてきた。 ミニバッチ最適化により、標準的な幅優先パイプライン(エポックベース)に微調整を復元する。 我々は、復元された微調整フレームワーク上に構築された、シンプルで効果的なローカライズド編集手法であるLocFT-BFを導出する。
  論文  参考訳（メタデータ） (2025-09-26T08:53:13Z)
• FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information [2.762397703396293]
  FisherMaskはFisher情報に基づくアクティブラーニング(AL)アプローチで、主要なネットワークパラメータをマスキングすることで識別する。 実験の結果,FisherMaskは多様なデータセット上で最先端の手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-08T18:10:46Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。