論文の概要: DeepEdit: Knowledge Editing as Decoding with Constraints

• arxiv url: http://arxiv.org/abs/2401.10471v2
• Date: Mon, 1 Apr 2024 16:12:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 09:00:10.850124
• Title: DeepEdit: Knowledge Editing as Decoding with Constraints
• Title（参考訳）: DeepEdit: 制約付きデコードとしての知識編集
• Authors: Yiwei Wang, Muhao Chen, Nanyun Peng, Kai-Wei Chang,
• Abstract要約: 本稿では,制約付き復号化問題として扱う大規模言語モデル(LLM)に対する知識編集(KE)の新たな視点を提案する。 我々は、深度優先探索を用いて、LLMの本来の推論ステップに対して、新しい知識を適応的に置き換える。 我々は、より正確で挑戦的なKEアプローチの評価を提供するために、MQuAKE-2002とMQuAKE-hardという2つの新しいKEベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 118.78008395850888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new perspective of knowledge editing (KE) for large language models (LLMs) that treats it as a constrained decoding problem. We design decoding constraints to regulate LLMs, ensuring coherence between reasoning steps when incorporating new knowledge. To enforce these constraints, we utilize a depth-first search to adaptively substitute new knowledge for the LLMs' original reasoning steps, greedily seeking the optimal path of multi-hop reasoning with new knowledge. From this vantage, we propose DEEPEDIT: Depth-first Search-based Decoding for Knowledge Editing. DEEPEDIT improves the KE of LLMs by enhancing the conciseness, coherence, pertinence, and receptiveness of reasoning with new knowledge. DEEPEDIT is flexibly applicable to any black-box LLM without requiring access to model parameters or token-wise distributions. In addition to DEEPEDIT, we propose two new KE benchmarks: MQuAKE-2002 and MQuAKE-hard, which are designed to provide more precise and challenging assessments of KE approaches. Qualitatively, DEEPEDIT enables LLMs to produce more succinct reasoning outputs in accordance with new knowledge. Quantitatively, it yields significant improvements on multiple KE benchmarks.
• Abstract（参考訳）: 本稿では,制約付き復号化問題として扱う大規模言語モデル(LLM)に対する知識編集(KE)の新たな視点を提案する。 我々は、LLMを規制するデコード制約を設計し、新しい知識を取り入れた場合の推論ステップ間の一貫性を確保する。 これらの制約を強制するために、我々は深度優先探索を用いて、LLMの元々の推論ステップに適応的に新しい知識を置換し、新しい知識を持つマルチホップ推論の最適経路を欲しがる。 本稿では,DeEPEDIT:Depth-first Search-based Decoding for Knowledge Editingを提案する。 DEEPEDITは、新しい知識による推論の簡潔さ、コヒーレンス、永続性、受容性を高めることにより、LLMのKEを改善する。 DEEPEDITは、モデルパラメータやトークン単位の分布へのアクセスを必要とせずに、任意のブラックボックス LLM に柔軟に適用可能である。 DEEPEDITに加えて、我々は、より正確で挑戦的なKEアプローチの評価を提供するために、MQuAKE-2002とMQuAKE-hardという2つの新しいKEベンチマークを提案する。 定性的には、DEEPEDITはLLMが新たな知識に応じてより簡潔な推論出力を生成することを可能にする。 定量的には、複数のKEベンチマークで大幅に改善されている。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。 LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。 既存の位置と編集の知識編集(KE)手法には2つの制限がある。
  論文  参考訳（メタデータ） (2024-06-06T20:41:36Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
  大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。 本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。 我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:22:56Z)
• Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models [49.23348672822087]
  構造化された事実制約に縛られた不完全な知識ネットワークからなるベンチマークである知識クロスワードを提案する。 幾何学的知識推論の新しい設定は、既存の原子/線形マルチホップQAを超える新しいLM能力を必要とする。 我々は,既存のLLMと知識クロスワードのアプローチを評価するために,広範囲な実験を行っている。
  論文  参考訳（メタデータ） (2023-10-02T15:43:53Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。