論文の概要: WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing
- arxiv url: http://arxiv.org/abs/2402.10987v1
- Date: Fri, 16 Feb 2024 05:29:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 23:59:43.078882
- Title: WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing
- Title(参考訳): wilke: 生涯の知識編集のためのワイズレイヤーナレッジエディタ
- Authors: Chenhui Hu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao
- Abstract要約: 我々は、編集知識のパターンマッチング度に基づいて編集層を選択するWilKEという知識編集手法を提案する。
実験の結果、生涯の編集では、GPT2-XLとGPT-Jの編集において平均46.2%と67.8%の改善が見られた。
- 参考スコア(独自算出の注目度): 20.767790671007084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge editing aims to rectify inaccuracies in large language models
(LLMs) without costly retraining for outdated or erroneous knowledge. However,
current knowledge editing methods primarily focus on single editing, failing to
meet the requirements for lifelong editing. In this paper, lifelong editing is
synonymous with lifelong knowledge editing. This study reveals a performance
degradation encountered by knowledge editing in lifelong editing, characterized
by toxicity buildup and toxicity flash, with the primary cause identified as
pattern unmatch. We introduce a knowledge editing approach named WilKE, which
selects editing layer based on the pattern matching degree of editing knowledge
across different layers. Experimental results demonstrate that, in lifelong
editing, WilKE exhibits an average improvement of 46.2\% and 67.8\% on editing
GPT2-XL and GPT-J relative to state-of-the-art knowledge editing methods.
- Abstract(参考訳): 知識編集は、大規模言語モデル(LLM)における不正確さを、時代遅れや誤った知識のためにコストがかかることなく修正することを目的としている。
しかし、現在の知識編集手法は主に単一編集に焦点を当てており、生涯編集の要件を満たしていない。
本稿では,生涯編集は生涯の知識編集と同義である。
本研究は,生涯の編集において知識編集によって生じる,毒性の蓄積と毒性のフラッシュを特徴とし,主な原因がパターン不一致であると同定した。
我々は、異なる層にまたがる編集知識のパターンマッチング度に基づいて、編集層を選択するWilKEという知識編集手法を提案する。
実験結果から,HilKEの生涯編集では,GPT2-XLとGPT-Jの編集方法に対して平均46.2\%,67.8\%の改善が見られた。
関連論文リスト
- ExpressEdit: Video Editing with Natural Language and Sketching [28.814923641627825]
マルチモダリティ$-$natural Language (NL) とスケッチは、人間が表現に使用する自然なモダリティであり、ビデオエディタをサポートするために$-$canを使用することができる。
我々は,NLテキストによる動画編集と映像フレームのスケッチを可能にするExpressEditを提案する。
論文 参考訳(メタデータ) (2024-03-26T13:34:21Z) - Editing Factual Knowledge and Explanatory Ability of Medical Large
Language Models [95.4008873587564]
モデル編集は、特定の知識に基づいて大きな言語モデル(LLM)の振る舞いを正確に修正することを目的としている。
LLMの幻覚や時代遅れの問題の解決に有効であることが証明されている。
本稿では,2つのモデル編集研究を提案し,それらを医療領域で検証する。
論文 参考訳(メタデータ) (2024-02-28T06:40:57Z) - InstructEdit: Instruction-based Knowledge Editing for Large Language Models [39.2147118489123]
InstructEditと呼ばれる命令ベースの編集技術を開発し、簡単な命令を使って様々なタスクパフォーマンスへのエディタの適応を容易にする。
予期せぬタスクを含む実験は、InstructEditが以前の強いベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2024-02-25T15:46:33Z) - Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。
既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。
知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
論文 参考訳(メタデータ) (2024-02-21T07:52:26Z) - Event-level Knowledge Editing [53.767465515537545]
既存の作業は、事実知識三重項のレベルで大きな言語モデル(LLM)を編集する。
イベントレベルの知識編集という新しいタスク設定を提案し,新しいイベントを直接LLMに編集する。
我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。
論文 参考訳(メタデータ) (2024-02-20T15:36:41Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳(メタデータ) (2024-02-17T16:34:50Z) - Is it Possible to Edit Large Language Models Robustly? [60.36021686516329]
大型言語モデル(LLM)は、人間の振る舞いを模倣するコミュニケーションAIを構築する上で重要な役割を担っている。
近年の研究では、言語モデルの特定の記憶を操作し、関連する言語生成を変更するモデル編集の領域を掘り下げている。
この研究は、編集方法の強みと限界を理解し、コミュニケーションAIの堅牢で現実的な応用を促進する。
論文 参考訳(メタデータ) (2024-02-08T17:06:45Z) - DUnE: Dataset for Unified Editing [3.7346004746366384]
自然言語文を編集するDUnE-an編集ベンチマークを導入する。
検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-27T18:56:14Z) - EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。
様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。
我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
論文 参考訳(メタデータ) (2023-08-14T16:52:42Z) - Learning Structural Edits via Incremental Tree Transformations [102.64394890816178]
構造化データのインクリメンタルな編集(すなわち「構造的編集」)のための汎用モデルを提案する。
我々の編集者は、反復的にツリー編集(例えば、サブツリーの削除や追加)を生成し、部分的に編集されたデータに適用することを学びます。
提案したエディタを2つのソースコード編集データセットで評価した結果,提案する編集エンコーダでは,従来よりも精度が向上していることがわかった。
論文 参考訳(メタデータ) (2021-01-28T16:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。