論文の概要: Knowledge Editing with Subspace-Aware Key-Value Mappings

• arxiv url: http://arxiv.org/abs/2509.24502v1
• Date: Mon, 29 Sep 2025 09:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.892217
• Title: Knowledge Editing with Subspace-Aware Key-Value Mappings
• Title（参考訳）: サブスペース対応キーバリューマッピングによる知識編集
• Authors: Haewon Park, Sangwoo Kim, Yohan Jo,
• Abstract要約: Subspace Knowledge Edit (SUIT) は、編集に関連する重要な機能のサブスペースのみを特定し、修正する手法である。 以上の結果から,SuITは高い編集効率を維持しつつ,強いベースライン上での知識保存を劇的に改善することが示された。
• 参考スコア（独自算出の注目度）: 21.842110144628048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing aims to efficiently correct factual errors in Language Models (LMs). The popular locate-then-edit approach modifies an MLP layer by finding an optimal mapping between its input vector (key) and output vector (value) that leads to the expression of the edited knowledge. However, existing methods without any constraints on the key and value vectors cause significant perturbations to the edited model. To address this, we propose Subspace Knowledge Edit (SUIT), a method that identifies and modifies only the subspace of critical features relevant to the edit. Our empirical results on LLaMA-3-8B, GPT-J-6B, and Qwen2.5-7B models show that SUIT dramatically improves knowledge preservation over strong baselines while maintaining high edit efficacy. This effectiveness confirms that SUIT successfully identifies the critical subspace for the edit. Further analyses provide additional validation for our approach. The source code and data will be released to the public upon publication of the paper.
• Abstract（参考訳）: 知識編集は、言語モデル(LM)の事実誤りを効率的に補正することを目的としている。 一般的な位置-then-editアプローチは、入力ベクトル(key)と出力ベクトル(value)の間の最適なマッピングを見つけ、編集された知識を表現することによって、MLP層を修飾する。 しかし、キーベクトルと値ベクトルの制約のない既存のメソッドは、編集されたモデルにかなりの摂動を引き起こす。 そこで我々は,その編集に関連する重要な特徴のサブスペースのみを特定し,修正する手法であるSubspace Knowledge Edit (SUIT)を提案する。 LLaMA-3-8B, GPT-J-6B, Qwen2.5-7B モデルにおける実験結果から,SUIT は高い編集効率を維持しながら,強いベースライン上での知識保存を劇的に改善することが示された。 この有効性は、SUITが編集の臨界部分空間を正しく識別することを確認する。 さらなる分析は、我々のアプローチのさらなる検証を提供する。 ソースコードとデータは、論文の公開時に公開される。

関連論文リスト

• CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models [4.190739522901791]
  大規模言語モデル(LLM)は、事実的リコールと一般的な推論において強い性能を示すが、ユーザ固有の常識知識に適応するのに苦労する。 我々は、ローカル化されたパーソナライズされたコモンセンス知識編集を評価するための新しいデータセットと生成パイプラインであるCaseEditを紹介する。 以上の結果から,AlphaEditのような効果的な編集技術を用いたCaseEditを使用することで,小型モデルで高品質で文脈に敏感な常識知識を内部化することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-26T00:54:04Z)
• EAMET: Robust Massive Model Editing via Embedding Alignment Optimization [12.022506016268112]
  本稿では,知識項目間の組込み誤りに対処するため,EAMET (Embedding Alignment Model Editing in Transformers)を提案する。 実験の結果、EAMETは既存の手法を一貫して上回り、10kの事実を編集する際に約90%の編集効率を達成することがわかった。
  論文  参考訳（メタデータ） (2025-05-17T07:00:02Z)
• Resolving UnderEdit & OverEdit with Iterative & Neighbor-Assisted Model Editing [7.752740499342269]
  大規模言語モデル(LLM)は下流のタスクに広くデプロイされているが、リトレーニングや微調整によって知識を最新に保つことは、しばしば計算コストがかかる。 モデル編集は、ターゲットとするパラメータのサブセットを更新することで、より効率的な代替手段を提供する。 本稿では,UnderEditを緩和するために連続的な編集を行う反復的モデル編集法と,OverEditの削減のために,編集中に近隣の知識を取り入れた近隣モデル編集法との2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-03-14T21:53:12Z)
• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  我々は、広く使われている質問応答(QA)データセットに対応する新しいベンチマークであるQAEditと、タスクに依存しない評価フレームワークであるWILDを紹介する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりもかなり悪い結果が得られた。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [63.209935157623946]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。