論文の概要: ALOE: Semantically Addressed Low-Rank Operators for Knowledge Editing

• arxiv url: http://arxiv.org/abs/2609.29269v1
• Date: Thu, 24 Sep 2026 09:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.806324
• Title: ALOE: Semantically Addressed Low-Rank Operators for Knowledge Editing
• Title（参考訳）: ALOE: 知識編集のための低ランク演算子
• Abstract要約: パラメトリックエディタはスコープを暗黙的にエンコードするが、メモリベースのエディタは選択を明示的にするが、編集モデルから外す。 パラフレーズやハードな同一オブジェクトの負からセマンティックアドレスを学習し、ロールアウト精製とゲートキャリブレーションにより自己回帰的隠蔽状態と整列し、結果として生じる低ランク演算子を1層に埋め込むALOEを提案する。
• 参考スコア（独自算出の注目度）: 11.354623263879466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing changes what a model knows by modifying parameters so that a requested fact updates while unrelated behavior is preserved. This is usually treated as a write problem, but editing also involves an address problem: deciding which hidden states should receive the new residual. An update that activates too narrowly memorizes one prompt, while one that activates too broadly disrupts neighboring knowledge. Parametric editors encode this scope implicitly, whereas memory-based editors make the selection explicit but keep it outside the edited model. We propose ALOE (Addressed Low-rank Operator for Editing), which learns semantic addresses from paraphrases and hard same-subject negatives, aligns them with autoregressive hidden states through rollout refinement and gate calibration, and embeds the resulting gated low-rank operator within one MLP layer, so that the deployed model runs in a single forward pass with no external retriever or auxiliary router. Evaluated on CounterFact, ZSRE, and KnowEdit across three 7--8B model families, ALOE achieves efficacy between 0.955 and 0.999 and locality between 0.981 and 1.000; mechanistic analyses confirm that the learned geometry separates competing edits and that calibration suppresses out-of-scope activation. The remaining errors concentrate in paraphrase coverage and write fitting.
• Abstract（参考訳）: 知識編集は、要求された事実が更新され、無関係な振る舞いが保存されるようにパラメータを変更することによって、モデルが知っていることを変更する。 これは通常、書き込みの問題として扱われるが、編集にはアドレスの問題も伴う。 あまりに狭めにアクティベートするアップデートは、1つのプロンプトを記憶させる一方、あまりに広範にアクティベートするアップデートは、近隣の知識を混乱させる。 パラメトリックエディタはこのスコープを暗黙的にエンコードするが、メモリベースのエディタは選択を明示的にするが、編集モデルから外す。 ALOE(Addressed Low-rank Operator for Editing)は、パラフレーズやハードな同一オブジェクトの負からセマンティックアドレスを学習し、ロールアウトリファインメントやゲートキャリブレーションを通じて自己回帰的隠蔽状態と整列し、その結果のゲートローランク演算子を1つのMLP層に埋め込んで、デプロイされたモデルが外部レトリバーや補助ルータなしで単一のフォワードパスで実行されるようにする。 CounterFact, ZSRE, KnowEditを3つの7--8Bモデルファミリーで評価し、ALOEは0.955から0.999の有効性と0.981から1.000の局所性を達成している。 残りのエラーは、パラフレーズカバレッジと書き込みフィッティングに集中します。

関連論文リスト

• HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing [12.303016850029683]
  大規模言語モデルは、展開後に必然的に時代遅れになる膨大な事実知識を符号化する。 1行の作業は、ロケーション・then-edit手順を通じてベースウェイトを直接変更することで、新しい事実をインストールする。 補完ラインはベースウェイトをそのまま残し、外部メモリを通して編集をルーティングするが、ルーティングの課題に直面している。 提案するHoReNは,3つのアイデアに基づいたルーティング機能を備えたコードブックベースのエディタである。
  論文  参考訳（メタデータ） (2026-05-02T15:51:31Z)
• The Anatomy of an Edit: Mechanism-Guided Activation Steering for Knowledge Editing [52.315369633116255]
  大規模言語モデル(LLM)は知識ベースとしてますます使われているが、それらを最新の状態に保つには、目標とする知識編集(KE)が必要である。 ニューロンレベルの知識属性(NLKA)を用いたKEの力学的考察 代表的KE法全体にわたって、我々は一貫したパターンを見出す: ミッド・トゥ・レイト・アテンションは、主に新しいターゲットを促進するが、アテンションとFFNモジュールは、元の事実を抑えるために協力する。 本研究の目的は,MEGA(Mechanism-Guided Activation steering method)を提案することである。
  論文  参考訳（メタデータ） (2026-03-21T12:40:15Z)
• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models [4.190739522901791]
  大規模言語モデル(LLM)は、事実的リコールと一般的な推論において強い性能を示すが、ユーザ固有の常識知識に適応するのに苦労する。 我々は、ローカル化されたパーソナライズされたコモンセンス知識編集を評価するための新しいデータセットと生成パイプラインであるCaseEditを紹介する。 以上の結果から,AlphaEditのような効果的な編集技術を用いたCaseEditを使用することで,小型モデルで高品質で文脈に敏感な常識知識を内部化することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-26T00:54:04Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。