論文の概要: WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing

• arxiv url: http://arxiv.org/abs/2402.10987v1
• Date: Fri, 16 Feb 2024 05:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 23:59:43.078882
• Title: WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing
• Title（参考訳）: wilke: 生涯の知識編集のためのワイズレイヤーナレッジエディタ
• Authors: Chenhui Hu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao
• Abstract要約: 我々は、編集知識のパターンマッチング度に基づいて編集層を選択するWilKEという知識編集手法を提案する。 実験の結果、生涯の編集では、GPT2-XLとGPT-Jの編集において平均46.2%と67.8%の改善が見られた。
• 参考スコア（独自算出の注目度）: 20.767790671007084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to rectify inaccuracies in large language models (LLMs) without costly retraining for outdated or erroneous knowledge. However, current knowledge editing methods primarily focus on single editing, failing to meet the requirements for lifelong editing. In this paper, lifelong editing is synonymous with lifelong knowledge editing. This study reveals a performance degradation encountered by knowledge editing in lifelong editing, characterized by toxicity buildup and toxicity flash, with the primary cause identified as pattern unmatch. We introduce a knowledge editing approach named WilKE, which selects editing layer based on the pattern matching degree of editing knowledge across different layers. Experimental results demonstrate that, in lifelong editing, WilKE exhibits an average improvement of 46.2\% and 67.8\% on editing GPT2-XL and GPT-J relative to state-of-the-art knowledge editing methods.
• Abstract（参考訳）: 知識編集は、大規模言語モデル(LLM)における不正確さを、時代遅れや誤った知識のためにコストがかかることなく修正することを目的としている。 しかし、現在の知識編集手法は主に単一編集に焦点を当てており、生涯編集の要件を満たしていない。 本稿では,生涯編集は生涯の知識編集と同義である。 本研究は,生涯の編集において知識編集によって生じる,毒性の蓄積と毒性のフラッシュを特徴とし,主な原因がパターン不一致であると同定した。 我々は、異なる層にまたがる編集知識のパターンマッチング度に基づいて、編集層を選択するWilKEという知識編集手法を提案する。 実験結果から,HilKEの生涯編集では,GPT2-XLとGPT-Jの編集方法に対して平均46.2\%,67.8\%の改善が見られた。

関連論文リスト

• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
  現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。 本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。 実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-08T04:47:17Z)
• Lifelong Sequential Knowledge Editing without Model Degradation [11.14177136208272]
  位置対応知識編集手法が編集事実の過度な適合に繋がることを示す。 これらの手法を用いて連続的な知識編集を行うことで、編集行列のノルムが不均等に成長することを示す。 ENCORE - Early Stop and Norm-Constrained Robust knowledge Editing。
  論文  参考訳（メタデータ） (2025-02-03T18:59:14Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• Knowledge in Superposition: Unveiling the Failures of Lifelong Knowledge Editing for Large Language Models [19.357663224043534]
  知識編集は、大規模な言語モデルにおいて、時代遅れまたは誤った知識を更新することを目的としている。 現在の知識編集手法は生涯編集のスケーラビリティに限界がある。 本研究は,生涯編集において知識編集が失敗する根本的な理由を考察する。
  論文  参考訳（メタデータ） (2024-08-14T09:43:32Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
  本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。 様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。 我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T16:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。