論文の概要: HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing

• arxiv url: http://arxiv.org/abs/2605.08143v1
• Date: Sat, 02 May 2026 15:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.390811
• Title: HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing
• Title（参考訳）: HoReN:大規模シーケンスモデル編集のための正規化ホップフィールド検索
• Abstract要約: 大規模言語モデルは、展開後に必然的に時代遅れになる膨大な事実知識を符号化する。 1行の作業は、ロケーション・then-edit手順を通じてベースウェイトを直接変更することで、新しい事実をインストールする。 補完ラインはベースウェイトをそのまま残し、外部メモリを通して編集をルーティングするが、ルーティングの課題に直面している。 提案するHoReNは,3つのアイデアに基づいたルーティング機能を備えたコードブックベースのエディタである。
• 参考スコア（独自算出の注目度）: 12.303016850029683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models encode vast factual knowledge that inevitably becomes outdated or incorrect after deployment, yet retraining is costly prohibitive, motivating model editing in lifelong settings that updates targeted behavior without harming the rest of the model. One line of work installs new facts by directly modifying base weights through locate-then-edit procedures, but accumulated edits progressively disrupt originally preserved knowledge, even with constraint-based projections. A complementary line leaves base weights intact and routes edits through external memory, but it faces routing challenges and its performance degrades at scale. We propose HoReN, a codebook-based parameter-preserving editor with enhanced routing built on three ideas. First, HoReN wraps a single MLP layer with a discrete key-value codebook, where each entry is interpreted simultaneously as a knowledge-memory key and a modern Hopfield stored pattern. Second, both keys and queries are projected onto the unit hypersphere so retrieval is governed by angular similarity, removing magnitude-driven mismatches between an edit prompt and its rephrasings. Third, the query is refined through damped Hopfield attractor dynamics, so paraphrases relax into the correct stored pattern's basin of attraction while unrelated queries remain undisturbed. HoReN achieves well-edited performance with consistent gains across diverse benchmarks spanning standard ZsRE, structured WikiBigEdit, and unstructured UnKE evaluations. Moreover, HoReN scales to 50K sequential edits on ZsRE with stable overall performance above 0.9, while prior editors collapse or degrade severely before reaching 10K. Our code is available at https://github.com/ha11ucin8/HoReN.
• Abstract（参考訳）: 大規模言語モデルは、展開後に必然的に時代遅れまたは不正確になる膨大な事実知識を符号化するが、再トレーニングはコストがかかるため、モデルの他の部分を傷つけることなくターゲットの振る舞いを更新する、生涯にわたる設定でモデル編集を動機付ける。 1行の作業では、位置-then-editプロシージャを通じてベースウェイトを直接修正することで新しい事実をインストールするが、蓄積された編集は、制約ベースのプロジェクションであっても、元の保存された知識を徐々に破壊する。 補完ラインはベースウェイトをそのまま残し、ルートは外部メモリを通して編集するが、ルーティングの問題に直面し、そのパフォーマンスは大規模に低下する。 コードブックベースのパラメータ保存エディタであるHoReNを提案する。 まず、HoReNは単一のMLP層を離散キー値コードブックでラップし、各エントリは知識記憶キーと近代ホップフィールド記憶パターンとして同時に解釈される。 第二に、キーとクエリの両方がユニットハイパースフィアに投影されるので、検索は角的な類似性によって制御され、編集プロンプトとリフレッシングの間の等級駆動ミスマッチが除去される。 第三に、クエリは減衰したホップフィールドアトラクションダイナミクスによって洗練されるので、パラフレーズは正しいストアドパターンのアトラクションの盆地に落ち着き、無関係なクエリは混乱しないままである。 HoReNは、標準のZsRE、構造化されたWikiBigEdit、構造化されていないUnKE評価にまたがる様々なベンチマークで一貫したパフォーマンスを実現している。 さらに、HoReNはZsRE上の50Kのシーケンシャルな編集を0.9以上の安定な全体的なパフォーマンスでスケールする一方、以前のエディタは10Kに達する前に崩壊または悪化する。 私たちのコードはhttps://github.com/ha11ucin8/HoReN.comで公開されています。

関連論文リスト

• Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing [19.592670426853115]
  Moirは、モデル自体から直接保存共分散$C$を、自身の復号分布からサンプリングすることによって推定する。 OLMo-2、Llama-3.1、Qwen-3 (7-8B)は、MEMITとAlphaEditの両方の下で、最も脆弱なドメインの保存を継続的に拡張している。 MoirのGSM8Kの精度は79.9%、Wikipediaのベースラインは10.9%である。
  論文  参考訳（メタデータ） (2026-05-10T16:05:49Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing [16.768713543557443]
  モデル編集は、関係のない振る舞いを保持しながら、再トレーニングすることなく、新しい事実やルールで事前訓練された更新を行う。 長い逐次編集のための最小二乗エディタ RLSEdit を提案する。 複数のモデルファミリの実験は、10K編集への安定したスケーリングを示し、編集成功と全体安定性の両方において強力なベースラインを達成している。
  論文  参考訳（メタデータ） (2026-01-22T06:11:44Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
  CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。 メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
  論文  参考訳（メタデータ） (2024-03-08T14:07:44Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。