論文の概要: AnyEdit: Edit Any Knowledge Encoded in Language Models

• arxiv url: http://arxiv.org/abs/2502.05628v2
• Date: Thu, 27 Mar 2025 03:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 14:27:26.361137
• Title: AnyEdit: Edit Any Knowledge Encoded in Language Models
• Title（参考訳）: AnyEdit: 言語モデルにエンコードされた知識を編集する
• Authors: Houcheng Jiang, Junfeng Fang, Ningyu Zhang, Guojun Ma, Mingyang Wan, Xiang Wang, Xiangnan He, Tat-seng Chua,
• Abstract要約: 大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
• 参考スコア（独自算出の注目度）: 69.30638272162267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often produce incorrect or outdated information, necessitating efficient and precise knowledge updates. Current model editing methods, however, struggle with long-form knowledge in diverse formats, such as poetry, code snippets, and mathematical derivations. These limitations arise from their reliance on editing a single token's hidden state, a limitation we term "efficacy barrier". To solve this, we propose AnyEdit, a new autoregressive editing paradigm. It decomposes long-form knowledge into sequential chunks and iteratively edits the key token in each chunk, ensuring consistent and accurate outputs. Theoretically, we ground AnyEdit in the Chain Rule of Mutual Information, showing its ability to update any knowledge within LLMs. Empirically, it outperforms strong baselines by 21.5% on benchmarks including UnKEBench, AKEW, and our new EditEverything dataset for long-form diverse-formatted knowledge. Additionally, AnyEdit serves as a plug-and-play framework, enabling current editing methods to update knowledge with arbitrary length and format, significantly advancing the scope and practicality of LLM knowledge editing.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば誤った情報や時代遅れの情報を生成し、効率的で正確な知識更新を必要とする。 しかし、現在のモデル編集手法は、詩、コードスニペット、数学的導出など、様々な形式で長い形式の知識に苦しむ。 これらの制限は、単一のトークンの隠れた状態の編集に依存することから生じます。 そこで我々は,新しい自己回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 理論的には、AnyEditを相互情報の連鎖規則(Chain Rule of Mutual Information)に置き、LSM内の知識を更新する能力を示す。 実験的に、UnKEBench、AKEW、そして我々の長い形式の多様な知識のための新しいEditEverythingデータセットを含むベンチマークで、強いベースラインを21.5%上回っている。 さらに、AnyEditはプラグイン・アンド・プレイのフレームワークとして機能し、現在の編集手法で任意の長さとフォーマットで知識を更新できるようになり、LLM知識編集のスコープと実用性が大幅に向上した。

関連論文リスト

• Understanding the Limits of Lifelong Knowledge Editing in LLMs [59.12302872055081]
  我々は、生涯にわたる知識編集の研究を現実の編集に事実上の規模で橋渡しする。 まず,実世界のウィキデータ編集の大規模ベンチマークであるWikiBigEditを紹介した。 最初の例では、知識編集のための500万以上の質問応答ペアが含まれている。
  論文  参考訳（メタデータ） (2025-03-07T18:45:42Z)
• MindBridge: Scalable and Cross-Model Knowledge Editing via Memory-Augmented Modality [55.01380617388064]
  既存のほとんどのメソッドは特定のモデルに過度に適合し、更新毎に編集済みの知識を破棄する。 マルチモーダルモデルにおけるモダリティ処理とLLMの低結合に着想を得た,スケーラブルなソリューションであるMindBridgeを紹介する。 MindBridgeは数万の知識エントリを編集しても優れたパフォーマンスを実現し、異なるLLMに柔軟に対応できる。
  論文  参考訳（メタデータ） (2025-03-04T15:17:57Z)
• Unlocking Efficient, Scalable, and Continual Knowledge Editing with Basis-Level Representation Fine-Tuning [29.20378857521518]
  大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。 静的コーパスでトレーニングされ、その知識は急速に変化する世界で急速に時代遅れになる。 以前の取り組みでは、LLMの特定の層に少量のパラメータを更新しようと試みていた。 本研究では,様々な種類の知識を適応的に管理し,より優れた編集・局所性トレードオフを実現するため,BaFTを提案する。
  論文  参考訳（メタデータ） (2025-03-01T02:34:44Z)
• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、トレーニング後の知識の更新は依然として重要な課題である。 我々は,新しい知識がLLMの学習された概念的階層や分類的関係と矛盾する程度であるパープレキシングネスの概念を紹介する。 我々の分析によると、より抽象的な概念(ハイポニム)を含む編集は一般的に、より難易度が高く、特定の概念(ハイポニム)よりも修正に耐性がある。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
  本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。 様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。 我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T16:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。