論文の概要: CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

• arxiv url: http://arxiv.org/abs/2503.16356v1
• Date: Thu, 20 Mar 2025 17:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:36:19.090655
• Title: CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners
• Title（参考訳）: CaKE: 回路対応編集により、汎用的な知識学習が可能に
• Authors: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng,
• Abstract要約: CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識のより効果的な統合を可能にする新しい手法である。 その結果,CaKEは関連する推論タスクに対して,より正確で一貫した知識の活用を可能にすることがわかった。
• 参考スコア（独自算出の注目度）: 88.35958039968081
• License:
• Abstract: Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.
• Abstract（参考訳）: 知識編集(KE)は、大規模言語モデル(LLM)における古い情報や誤った情報の変更を可能にする。 既存のKEメソッドは独立した事実を更新できるが、修正された知識に依存するマルチホップ推論タスクにこれらの更新を一般化することは困難である。 LLMが知識に基づく推論に使用する神経経路の解析を通じて、単一のまたは少数のモデル層のみを編集するMEMITやWISEといった現在のレイヤ局所化KEアプローチが、これらの推論経路に更新情報を効果的に組み込むのに苦労していることを観察する。 この制限に対処するために,LLMにおける更新知識のより効果的な統合を可能にする新しい手法であるCaKE(Circuit-aware Knowledge Editing)を提案する。 CaKEは、我々の回路に基づく分析によって導かれる戦略的にキュレートされたデータを活用し、修正された知識を活用するモデルを適用し、新たに統合された知識のための適切な推論回路を開発するようモデルに刺激を与える。 実験結果から、CaKEは関連する推論タスク間の更新知識のより正確で一貫した利用を可能にし、既存のKE手法と比較して、MQuAKEデータセット上でのマルチホップ推論精度が平均20%向上することが示された。 コードとデータはhttps://github.com/zjunlp/CaKE.comで公開しています。

関連論文リスト

• Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating [61.70705744491162]
  大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れる。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。 知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。
  論文  参考訳（メタデータ） (2025-01-31T20:48:46Z)
• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Knowledge Editing in Language Models via Adapted Direct Preference Optimization [50.616875565173274]
  大きな言語モデル(LLM)は、時間とともに時代遅れになる可能性がある。 知識編集は、高価なリトレーニングを必要としないウェイトアップデートを使用して、この課題を克服することを目的としている。
  論文  参考訳（メタデータ） (2024-06-14T11:02:21Z)
• Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。 LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。 既存の位置と編集の知識編集(KE)手法には2つの制限がある。
  論文  参考訳（メタデータ） (2024-06-06T20:41:36Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• ActKnow: Active External Knowledge Infusion Learning for Question Answering in Low Data Regime [7.562843347215286]
  知識グラフ(KG)をベースとした「オンデマンド」から質問回答(QA)の学習に積極的に知識を注入する手法を提案する。 我々は、低データ構造におけるRoBERTaのような純粋テキストベースのトランスフォーマーモデルに対して、ARC Challenge-setベンチマークを著しく改善したことを示す。
  論文  参考訳（メタデータ） (2021-12-17T10:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。