論文の概要: DeepEdit: Knowledge Editing as Decoding with Constraints
- arxiv url: http://arxiv.org/abs/2401.10471v2
- Date: Mon, 1 Apr 2024 16:12:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 09:00:10.850124
- Title: DeepEdit: Knowledge Editing as Decoding with Constraints
- Title(参考訳): DeepEdit: 制約付きデコードとしての知識編集
- Authors: Yiwei Wang, Muhao Chen, Nanyun Peng, Kai-Wei Chang,
- Abstract要約: 本稿では,制約付き復号化問題として扱う大規模言語モデル(LLM)に対する知識編集(KE)の新たな視点を提案する。
我々は、深度優先探索を用いて、LLMの本来の推論ステップに対して、新しい知識を適応的に置き換える。
我々は、より正確で挑戦的なKEアプローチの評価を提供するために、MQuAKE-2002とMQuAKE-hardという2つの新しいKEベンチマークを提案する。
- 参考スコア(独自算出の注目度): 118.78008395850888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new perspective of knowledge editing (KE) for large language models (LLMs) that treats it as a constrained decoding problem. We design decoding constraints to regulate LLMs, ensuring coherence between reasoning steps when incorporating new knowledge. To enforce these constraints, we utilize a depth-first search to adaptively substitute new knowledge for the LLMs' original reasoning steps, greedily seeking the optimal path of multi-hop reasoning with new knowledge. From this vantage, we propose DEEPEDIT: Depth-first Search-based Decoding for Knowledge Editing. DEEPEDIT improves the KE of LLMs by enhancing the conciseness, coherence, pertinence, and receptiveness of reasoning with new knowledge. DEEPEDIT is flexibly applicable to any black-box LLM without requiring access to model parameters or token-wise distributions. In addition to DEEPEDIT, we propose two new KE benchmarks: MQuAKE-2002 and MQuAKE-hard, which are designed to provide more precise and challenging assessments of KE approaches. Qualitatively, DEEPEDIT enables LLMs to produce more succinct reasoning outputs in accordance with new knowledge. Quantitatively, it yields significant improvements on multiple KE benchmarks.
- Abstract(参考訳): 本稿では,制約付き復号化問題として扱う大規模言語モデル(LLM)に対する知識編集(KE)の新たな視点を提案する。
我々は、LLMを規制するデコード制約を設計し、新しい知識を取り入れた場合の推論ステップ間の一貫性を確保する。
これらの制約を強制するために、我々は深度優先探索を用いて、LLMの元々の推論ステップに適応的に新しい知識を置換し、新しい知識を持つマルチホップ推論の最適経路を欲しがる。
本稿では,DeEPEDIT:Depth-first Search-based Decoding for Knowledge Editingを提案する。
DEEPEDITは、新しい知識による推論の簡潔さ、コヒーレンス、永続性、受容性を高めることにより、LLMのKEを改善する。
DEEPEDITは、モデルパラメータやトークン単位の分布へのアクセスを必要とせずに、任意のブラックボックス LLM に柔軟に適用可能である。
DEEPEDITに加えて、我々は、より正確で挑戦的なKEアプローチの評価を提供するために、MQuAKE-2002とMQuAKE-hardという2つの新しいKEベンチマークを提案する。
定性的には、DEEPEDITはLLMが新たな知識に応じてより簡潔な推論出力を生成することを可能にする。
定量的には、複数のKEベンチマークで大幅に改善されている。
関連論文リスト
- Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳(メタデータ) (2024-04-04T16:40:11Z) - Re2LLM: Reflective Reinforcement Large Language Model for Session-based Recommendation [23.182787000804407]
セッションベースレコメンデーション(SBR)を強化するための有望なアプローチとして,大規模言語モデル(LLM)が登場している。
本稿では,SBRのための反射強化大言語モデル(Re2LLM)を提案する。
論文 参考訳(メタデータ) (2024-03-25T05:12:18Z) - Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [104.70586870701922]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge
Graph-Integrated Collaboration [16.054815633190476]
本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。
このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
論文 参考訳(メタデータ) (2024-02-07T15:56:17Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - KnowledgeNavigator: Leveraging Large Language Models for Enhanced
Reasoning over Knowledge Graph [11.808990571175269]
大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。
本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。
我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
論文 参考訳(メタデータ) (2023-12-26T04:22:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。