論文の概要: DeepEdit: Knowledge Editing as Decoding with Constraints
- arxiv url: http://arxiv.org/abs/2401.10471v1
- Date: Fri, 19 Jan 2024 03:48:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 16:53:12.034901
- Title: DeepEdit: Knowledge Editing as Decoding with Constraints
- Title(参考訳): DeepEdit: 制約付きデコードとしての知識編集
- Authors: Yiwei Wang, Muhao Chen, Nanyun Peng, Kai-Wei Chang
- Abstract要約: 我々は,制約付き復号化として,大規模言語モデル(LLM)の知識編集の新しい視点を開発する。
DeepEditは、知識編集を改善するニューラルシンボリックな方法であり、推論の一貫性、質問への関連性、更新された知識の認識を改善する。
- 参考スコア(独自算出の注目度): 129.75870862162003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a new perspective of knowledge editing for large language models
(LLMs) as decoding with constraints. We propose DeepEdit (Depth-first Search
based Progressive Decoding for Knowledge Editing), a neuro-symbolic method that
improves knowledge editing with better coherence of reasoning, relevance to the
question, and awareness of updated knowledge. DeepEdit can be flexibly applied
to all black-box LLMs: it does not require any access to the model parameters,
representations, or output vocabulary distributions. DeepEdit progressively
produces the high-quality reasoning steps towards effective knowledge editing.
It utilizes a depth-first search to revise the LLMs' output, which improves the
output's informativeness to the input question and awareness of the updated
knowledge. Qualitatively, DeepEdit effectively controls LLMs to produce more
succinct reasoning in accord with knowledge editing. Quantitatively, DeepEdit
yields significant gains on MQuaKE, a challenging multi-hop question-answering
dataset with knowledge editing. We release the source code at
https://github.com/wangywUST/DeepEdit.
- Abstract(参考訳): 我々は,制約付きデコードとして,大規模言語モデル(LLM)の知識編集の新しい視点を開発する。
本稿では,推論のコヒーレンス,質問との関連性,知識更新の認識を向上し,知識編集を改善する神経シンボリック手法であるdeepedit(deep-first search based progressive decoding for knowledge editing)を提案する。
DeepEdit はすべてのブラックボックス LLM に柔軟に適用可能で、モデルパラメータ、表現、出力語彙分布へのアクセスは一切不要である。
deepeditは、効果的な知識編集のための高品質な推論ステップを徐々に作り出します。
深度優先探索を用いてLCMの出力を修正し、入力問題に対する出力の情報性を改善し、更新された知識の認識を高める。
定性的には、DeepEditはLLMを効果的に制御し、知識編集に応じてより簡潔な推論を生成する。
DeepEditは、知識編集を伴う挑戦的なマルチホップ質問回答データセットであるMQuaKEに大きな利益をもたらす。
ソースコードはhttps://github.com/wangywUST/DeepEditで公開しています。
関連論文リスト
- Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。
既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。
知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
論文 参考訳(メタデータ) (2024-02-21T07:52:26Z) - Event-level Knowledge Editing [56.083241339686616]
既存の作業は、事実知識三重項のレベルで大きな言語モデル(LLM)を編集する。
イベントレベルの知識編集という新しいタスク設定を提案し,新しいイベントを直接LLMに編集する。
我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。
論文 参考訳(メタデータ) (2024-02-20T15:36:41Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [104.70586870701922]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing [20.767790671007084]
我々は、編集知識のパターンマッチング度に基づいて編集層を選択するWilKEという知識編集手法を提案する。
実験の結果、生涯の編集では、GPT2-XLとGPT-Jの編集において平均46.2%と67.8%の改善が見られた。
論文 参考訳(メタデータ) (2024-02-16T05:29:59Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Unveiling the Pitfalls of Knowledge Editing for Large Language Models [44.3282173909008]
知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。
本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。
実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
論文 参考訳(メタデータ) (2023-10-03T15:10:46Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z) - EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language
Models [36.978055068340815]
EasyEditは、大規模言語モデルのための使いやすい知識編集フレームワークである。
様々な最先端の知識編集アプローチをサポートしており、よく知られたLLMにも容易に適用できる。
我々はLlaMA-2の知識編集結果をEasyEditで報告する。
論文 参考訳(メタデータ) (2023-08-14T16:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。