論文の概要: CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

• arxiv url: http://arxiv.org/abs/2503.16356v2
• Date: Tue, 23 Sep 2025 17:10:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 16:16:25.570925
• Title: CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners
• Title（参考訳）: CaKE: 回路対応編集により、汎用的な知識学習が可能に
• Authors: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng,
• Abstract要約: CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識の効果的な統合を強化する新しい手法である。 実験により、CaKEは関連する推論タスク間の編集された知識をより正確かつ一貫した使用を可能にすることが示された。
• 参考スコア（独自算出の注目度）: 109.87058236007907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they often fail to generalize these updates to multi-hop reasoning tasks that rely on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we find that current layer-localized KE approaches (e.g., MEMIT, WISE), which edit only single or a few model layers, inadequately integrate updated knowledge into these reasoning pathways. To address this limitation, we present CaKE (Circuit-aware Knowledge Editing), a novel method that enhances the effective integration of updated knowledge in LLMs. By only leveraging a few curated data samples guided by our circuit-based analysis, CaKE stimulates the model to develop appropriate reasoning circuits for newly incorporated knowledge. Experiments show that CaKE enables more accurate and consistent use of edited knowledge across related reasoning tasks, achieving an average improvement of 20% in multi-hop reasoning accuracy on the MQuAKE dataset while requiring less memory than existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.
• Abstract（参考訳）: 知識編集(KE)は、大規模言語モデル(LLM)における古い情報や誤った情報の変更を可能にする。 既存のKEメソッドは独立した事実を更新できるが、修正された知識に依存するマルチホップ推論タスクにこれらの更新を一般化することができないことが多い。 LLMが知識ベースの推論に使用する神経経路の解析を通じて、単一のまたは少数のモデル層のみを編集する現在のレイヤ局所化KEアプローチ(例えば、MEMIT、WISE)が、これらの推論経路に更新された知識を不適切に統合することを発見した。 この制限に対処するために,LLMにおける更新知識の効果的な統合を強化する新しい手法であるCaKE(Circuit-aware Knowledge Editing)を提案する。 回路解析によって導かれたいくつかのキュレートされたデータのみを活用することで、CaKEはモデルに刺激を与え、新たに組み込まれた知識のための適切な推論回路を開発する。 実験により、CaKEは関連する推論タスク間の編集された知識をより正確かつ一貫した使用を可能にし、MQuAKEデータセット上でのマルチホップ推論の精度を平均20%改善し、既存のKEメソッドよりもメモリを少なくすることを示した。 コードとデータはhttps://github.com/zjunlp/CaKE.comで公開しています。

関連論文リスト

• Retention analysis of edited knowledge after fine-tuning [5.440397659472036]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Decoupling Reasoning and Knowledge Injection for In-Context Knowledge Editing [12.5122702720856]
  インコンテキスト編集(ICE)は、入力コンテキストに直接新しい知識を注入することで、軽量なソリューションを提供する。 既存のICEアプローチは、新しく注入された知識をモデル本来の推論プロセスから明確に分離するものではない。 マスク付き推論経路を生成することで知識編集から推論を分離する新しいICEフレームワークであるDecKERを提案する。
  論文  参考訳（メタデータ） (2025-05-31T12:51:12Z)
• Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning [38.018263569983226]
  信頼性,一般化,局所性,可搬性という4次元の10種類のモデル編集手法の評価を行った。 次に、知識更新のためのSCR(Selective Contextual Reasoning)という簡単な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:04:25Z)
• Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating [61.70705744491162]
  大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れる。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。 知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。
  論文  参考訳（メタデータ） (2025-01-31T20:48:46Z)
• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Knowledge Editing in Language Models via Adapted Direct Preference Optimization [50.616875565173274]
  大きな言語モデル(LLM)は、時間とともに時代遅れになる可能性がある。 知識編集は、高価なリトレーニングを必要としないウェイトアップデートを使用して、この課題を克服することを目的としている。
  論文  参考訳（メタデータ） (2024-06-14T11:02:21Z)
• Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。 LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。 既存の位置と編集の知識編集(KE)手法には2つの制限がある。
  論文  参考訳（メタデータ） (2024-06-06T20:41:36Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。