論文の概要: MetaKE: Meta-learning Aligned Knowledge Editing via Bi-level Optimization

• arxiv url: http://arxiv.org/abs/2603.12677v2
• Date: Mon, 16 Mar 2026 01:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 13:51:29.06413
• Title: MetaKE: Meta-learning Aligned Knowledge Editing via Bi-level Optimization
• Title（参考訳）: MetaKE: 双方向最適化によるメタラーニング指向知識編集
• Authors: Shuxin Liu, Ou Wu,
• Abstract要約: 最先端の手法はオープンループ制御ミスマッチに悩まされる。 批判的「セマンティック・エクセプション・ディスコネクト」を同定する 両レベルの最適化問題としてKEを再構成する新しいフレームワークであるMetaKEを提案する。
• 参考スコア（独自算出の注目度）: 11.430206422495829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing (KE) aims to precisely rectify specific knowledge in Large Language Models (LLMs) without disrupting general capabilities. State-of-the-art methods suffer from an open-loop control mismatch. We identify a critical "Semantic-Execution Disconnect": the semantic target is derived independently without feedback from the downstream's feasible region. This misalignment often causes valid semantic targets to fall within the prohibited space, resulting in gradient truncation and editing failure. To bridge this gap, we propose MetaKE (Meta-learning Aligned Knowledge Editing), a new framework that reframes KE as a bi-level optimization problem. Departing from static calculation, MetaKE treats the edit target as a learnable meta-parameter: the upper-level optimizer seeks a feasible target to maximize post-edit performance, while the lower-level solver executes the editing. To address the challenge of differentiating through complex solvers, we derive a Structural Gradient Proxy, which explicitly backpropagates editability constraints to the target learning phase. Theoretical analysis demonstrates that MetaKE automatically aligns the edit direction with the model's feasible manifold. Extensive experiments confirm that MetaKE significantly outperforms strong baselines, offering a new perspective on knowledge editing.
• Abstract（参考訳）: 知識編集(KE)は、言語モデル(LLM)における特定の知識を、一般的な能力を損なうことなく正確に修正することを目的としている。 最先端の手法はオープンループ制御ミスマッチに悩まされる。 重要な「セマンティック・エクセプション・ディスコネクト」を同定し, 下流領域からのフィードバックなしにセマンティック・ターゲットを独立に導出する。 このミスアライメントは、しばしば有効なセマンティックターゲットを禁止された空間に落とし、グラディッシュ・トランケーションと編集の失敗をもたらす。 このギャップを埋めるため,二段階最適化問題としてKEを再設計するMeta-learning Aligned Knowledge Editingを提案する。 静的な計算とは別に、MetaKEは、編集対象を学習可能なメタパラメータとして扱い、上位レベルのオプティマイザは、編集後のパフォーマンスを最大化するために実行可能なターゲットを求め、下位レベルのソルバは編集を実行する。 複雑な解法による微分の課題に対処するため、対象学習フェーズに対する編集可能性制約を明示的に緩和する構造的勾配プロキシを導出する。 理論的解析により、MetaKEは自動的にモデルの実行可能な多様体と編集方向を整列することを示した。 大規模な実験により、MetaKEは強力なベースラインをはるかに上回っており、知識編集に関する新たな視点を提供する。

関連論文リスト

• Generalizable Multimodal Large Language Model Editing via Invariant Trajectory Learning [46.514554089834554]
  既存の編集方法は、パラメータやモジュールの変更から出力への厳密なマッピングに依存している。 本稿では,MLLM編集をアウト・オブ・ディストリビューション(OOD)の一般化問題として再検討する。 我々は,編集の信頼性,局所性,汎用性を高めるための,プラグアンドプレイ不変学習ベースのフレームワークODEditを提案する。
  論文  参考訳（メタデータ） (2026-01-27T15:25:07Z)
• Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
  この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
  論文  参考訳（メタデータ） (2026-01-24T07:07:21Z)
• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• An Information-Theoretic Framework for Robust Large Language Model Editing [17.984683741974063]
  大規模言語モデル(LLM)は、科学、技術、社会において欠かせない道具となっている。 これらのモデル内のエラーや時代遅れの情報は、その正確性を損なう可能性があり、安全なデプロイメントを制限することができる。 本稿では,情報ボトルネック理論に基づくLLMの編集フレームワークを提案する。 Information Bottleneck Knowledge Editor (IBKE) を提案する。
  論文  参考訳（メタデータ） (2025-12-18T06:21:17Z)
• EtCon: Edit-then-Consolidate for Reliable Knowledge Editing [85.20993502078899]
  本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。 本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
  論文  参考訳（メタデータ） (2025-12-04T12:43:50Z)
• Towards Meta-Cognitive Knowledge Editing for Multimodal LLMs [71.8547241246169]
  本稿では,MLLMのメタ認知的知識編集能力を評価するための新しいベンチマークであるCogEditを紹介する。 本稿では,自己認識のためのメタ知識メモリを構築するフレームワークであるMINDを提案する。
  論文  参考訳（メタデータ） (2025-09-06T13:26:04Z)
• REACT: Representation Extraction And Controllable Tuning to Overcome Overfitting in LLM Knowledge Editing [42.89229070245538]
  本稿では,正確かつ制御可能な知識編集のためのフレームワークであるREACTを紹介する。 最初の段階では、調整された刺激を用いて、潜在的な事実表現を抽出する。 第2段階では,大小スカラーのベクトルを用いて,制御可能な摂動を隠蔽状態に適用する。
  論文  参考訳（メタデータ） (2025-05-25T01:57:06Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,多段階推論制約モジュールを導入し,新しい知識をリコールする際のモデルをガイドするLearning the Inference (LTI)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。