論文の概要: Neighboring Perturbations of Knowledge Editing on Large Language Models
- arxiv url: http://arxiv.org/abs/2401.17623v1
- Date: Wed, 31 Jan 2024 06:49:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 15:27:20.240962
- Title: Neighboring Perturbations of Knowledge Editing on Large Language Models
- Title（参考訳）: 大規模言語モデルに基づく知識編集の摂動
- Authors: Jun-Yu Ma, Jia-Chen Gu, Ningyu Zhang, Zhen-Hua Ling
- Abstract要約: 本稿では,大規模言語モデル (LLM) に対する新たな知識の更新が,その内部にカプセル化された近隣の知識を乱すかどうかを考察する。
適応知識の摂動評価(PEAK)と呼ばれるベンチマークは、新しい知識を追加する際に隣り合う知識に摂動の程度を評価するために構築される。
- 参考スコア（独自算出の注目度）: 47.97101294017217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their exceptional capabilities, large language models (LLMs) are
prone to generating unintended text due to false or outdated knowledge. Given
the resource-intensive nature of retraining LLMs, there has been a notable
increase in the development of knowledge editing. However, current approaches
and evaluations rarely explore the perturbation of editing on neighboring
knowledge. This paper studies whether updating new knowledge to LLMs perturbs
the neighboring knowledge encapsulated within them. Specifically, we seek to
figure out whether appending a new answer into an answer list to a factual
question leads to catastrophic forgetting of original correct answers in this
list, as well as unintentional inclusion of incorrect answers. A metric of
additivity is introduced and a benchmark dubbed as Perturbation Evaluation of
Appending Knowledge (PEAK) is constructed to evaluate the degree of
perturbation to neighboring knowledge when appending new knowledge. Besides, a
plug-and-play framework termed Appending via Preservation and Prevention (APP)
is proposed to mitigate the neighboring perturbation by maintaining the
integrity of the answer list. Experiments demonstrate the effectiveness of APP
coupling with four editing methods on three LLMs.
- Abstract（参考訳）: 例外的な能力にもかかわらず、大きな言語モデル(LLM)は、偽りや時代遅れの知識のために意図しないテキストを生成する傾向がある。
LLMの再訓練の資源集約性を考えると,知識編集の発展が顕著に進んでいる。
しかし、現在のアプローチや評価は、近隣の知識に対する編集の摂動をほとんど探さない。
本稿では, LLM に対する新たな知識の更新が, それらの中にカプセル化されている近隣の知識を混乱させるかどうかを考察する。
具体的には,質問に対する回答リストに新しい回答を付加すると,このリストの本来の正しい回答が破滅的に忘れてしまうか,不正確な回答が意図せず含められるかを見極める。
付加性の指標を導入し、新しい知識を付加する際の近隣の知識に対する摂動度を評価するために、PEAK(Perturbation Evaluation of Appending Knowledge)と呼ばれるベンチマークを構築した。
さらに,回答リストの整合性を維持することにより,近隣の摂動を軽減するために,appending via Preservation and Prevention (APP) と呼ばれるプラグアンドプレイフレームワークを提案する。
3つのLLM上でのAPP結合と4つの編集方法の有効性を示す実験を行った。
関連論文リスト
- How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。
新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。
知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
論文 参考訳（メタデータ） (2024-06-25T03:41:02Z) - Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。
本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
論文 参考訳（メタデータ） (2024-06-03T15:28:21Z) - Detecting Edited Knowledge in Language Models [5.260519479124422]
知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。
生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。
本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
論文 参考訳（メタデータ） (2024-05-04T22:02:24Z) - Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering [47.199078631274745]
大規模言語モデル(LLM)は質問応答タスクの習熟度を示しているが、しばしばリアルタイム知識の統合に苦慮している。
マルチホップ質問応答のためのRetrieval-Augmented Model Editing (RAE) フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-28T17:47:19Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳（メタデータ） (2024-03-26T06:57:23Z) - Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳（メタデータ） (2024-03-10T16:57:10Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳（メタデータ） (2023-10-08T04:22:33Z) - Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。
本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。
実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
論文 参考訳（メタデータ） (2023-10-03T15:10:46Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳（メタデータ） (2023-08-19T09:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。