論文の概要: WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing

• arxiv url: http://arxiv.org/abs/2402.10987v2
• Date: Wed, 5 Jun 2024 07:44:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 01:11:46.050664
• Title: WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing
• Title（参考訳）: WilKE: 生涯の知識編集のためのWise-Layerナレッジエディタ
• Authors: Chenhui Hu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao,
• Abstract要約: 本研究は,生涯編集における知識編集による性能劣化を明らかにする。 Wise-Layer Knowledge Editor (WilKE) という知識編集手法を導入する。 WilKEは、言語モデルにおいて、異なるレイヤにわたる編集知識のパターンマッチング度に基づいて、編集層を選択する。
• 参考スコア（独自算出の注目度）: 19.357663224043534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to rectify inaccuracies in large language models (LLMs) without costly retraining for outdated or erroneous knowledge. However, current knowledge editing methods primarily focus on single editing, failing to meet the requirements for lifelong editing. This study reveals a performance degradation encountered by knowledge editing in lifelong editing, characterized by toxicity buildup and toxicity flash, with the primary cause identified as pattern unmatch. We introduce a knowledge editing approach named Wise-Layer Knowledge Editor (WilKE), which selects editing layer based on the pattern matching degree of editing knowledge across different layers in language models. Experimental results demonstrate that, in lifelong editing, WilKE exhibits an average improvement of 46.2% and 67.8% on editing GPT2-XL and GPT-J relative to state-of-the-art knowledge editing methods.
• Abstract（参考訳）: 知識編集は、大規模言語モデル(LLM)における不正確さを、時代遅れや誤った知識のためにコストがかかることなく修正することを目的としている。 しかし、現在の知識編集法は主に単一編集に重点を置いており、生涯編集の要件を満たしていない。 本研究は, 毒性蓄積と毒性フラッシュを特徴とする生涯編集において, 知識編集によって生じる性能劣化について明らかにし, 主な原因をパターンアンマッチと同定した。 Wese-Layer Knowledge Editor (WilKE) と呼ばれる知識編集手法を導入し,言語モデルにおいて,様々な階層にまたがる編集知識のパターンマッチング度に基づいて,編集層を選択する。 実験結果は、生涯編集において、GPT2-XLとGPT-Jの編集において、最先端の知識編集法と比較して平均46.2%と67.8%の改善が示されている。

関連論文リスト

• Should We Really Edit Language Models? On the Evaluation of Edited Language Models [15.63231238452797]
  既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T14:36:48Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• Knowledge in Superposition: Unveiling the Failures of Lifelong Knowledge Editing for Large Language Models [19.357663224043534]
  知識編集は、大規模な言語モデルにおいて、時代遅れまたは誤った知識を更新することを目的としている。 現在の知識編集手法は生涯編集のスケーラビリティに限界がある。 本研究は,生涯編集において知識編集が失敗する根本的な理由を考察する。
  論文  参考訳（メタデータ） (2024-08-14T09:43:32Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
  モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
  論文  参考訳（メタデータ） (2024-02-28T06:40:57Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
  本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。 様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。 我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T16:52:42Z)
• Learning Structural Edits via Incremental Tree Transformations [102.64394890816178]
  構造化データのインクリメンタルな編集(すなわち「構造的編集」)のための汎用モデルを提案する。 我々の編集者は、反復的にツリー編集(例えば、サブツリーの削除や追加)を生成し、部分的に編集されたデータに適用することを学びます。 提案したエディタを2つのソースコード編集データセットで評価した結果,提案する編集エンコーダでは,従来よりも精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2021-01-28T16:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。