論文の概要: Decoding by Contrasting Knowledge: Enhancing LLMs' Confidence on Edited Facts

• arxiv url: http://arxiv.org/abs/2405.11613v1
• Date: Sun, 19 May 2024 17:08:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 15:02:50.801306
• Title: Decoding by Contrasting Knowledge: Enhancing LLMs' Confidence on Edited Facts
• Title（参考訳）: 知識の対比によるデコーディング:LLMの編集要素への信頼を高める
• Authors: Baolong Bi, Shenghua Liu, Lingrui Mei, Yiwei Wang, Pengliang Ji, Xueqi Cheng,
• Abstract要約: インテキスト編集(ICE)は現在、知識編集(KE)において最も効果的な方法である。 本研究の目的は,トークン単位の分布に対する文脈内知識の影響を分析することで,KEにおけるICEの優れた性能を解明することである。 我々は、$textbfC$ontrasting $textbfK$nowledge (DeCK) という新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 41.03991506580652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The knowledge within large language models (LLMs) may become outdated quickly. While in-context editing (ICE) is currently the most effective method for knowledge editing (KE), it is constrained by the black-box modeling of LLMs and thus lacks interpretability. Our work aims to elucidate the superior performance of ICE on the KE by analyzing the impacts of in-context new knowledge on token-wise distributions. We observe that despite a significant boost in logits of the new knowledge, the performance of is still hindered by stubborn knowledge. Stubborn knowledge refers to as facts that have gained excessive confidence during pretraining, making it hard to edit effectively. To address this issue and further enhance the performance of ICE, we propose a novel approach termed $\textbf{De}$coding by $\textbf{C}$ontrasting $\textbf{K}$nowledge (DeCK). DeCK derives the distribution of the next token by contrasting the logits obtained from the newly edited knowledge guided by ICE with those from the unedited parametric knowledge. Our experiments consistently demonstrate that DeCK enhances the confidence of LLMs in edited facts. For instance, it improves the performance of LLaMA3-8B-instruct on MQuAKE by up to 219%, demonstrating its capability to strengthen ICE in the editing of stubborn knowledge. Our work paves the way to develop the both effective and accountable KE methods for LLMs. (The source code is available at: $\href{https://github.com/byronBBL/DeCK}{\text{this https URL.}}$ )
• Abstract（参考訳）: 大規模言語モデル(LLM)における知識は、急速に時代遅れになる可能性がある。 インコンテキスト編集(ICE)は現在、知識編集(KE)において最も効果的な方法であるが、LCMのブラックボックスモデリングに制約されているため、解釈性に欠ける。 本研究の目的は,トークン単位の分布に対する文脈内知識の影響を分析することで,KEにおけるICEの優れた性能を解明することである。 新たな知識のロジットが著しく向上したにもかかわらず、そのパフォーマンスはいまだに頑健な知識によって妨げられている。 スタブボーン知識(Stubborn knowledge)は、事前訓練中に過剰な信頼を得た事実であり、効果的に編集することが困難である。 この問題に対処し、ICEの性能をさらに向上するために、$\textbf{De}$coding by $\textbf{C}$ontrasting $\textbf{K}$nowledge (DeCK) という新しいアプローチを提案する。 DeCKは、ICEによってガイドされた新しく編集された知識と、未編集のパラメトリックな知識から得られたログを対比することにより、次のトークンの分布を導出する。 我々の実験は、DeCKが編集事実におけるLLMの信頼性を高めることを一貫して示している。 例えば、MQuAKE上でのLLaMA3-8Bインストラクタの性能を最大219%向上させ、スタブボーン知識の編集においてICEを強化する能力を示す。 我々の研究は、LLMの効果的なKE手法と説明可能なKE手法の両方を開発するための道を開いた。 (ソースコードは以下の通り。 $\href{https://github.com/byronBBL/DeCK}{\text{this https URL。 }}$)。

関連論文リスト

• Towards Unified Multimodal Editing with Enhanced Knowledge Collaboration [107.31481207855835]
  内在的知識の編集や外部知識の活用といった現在の手法は、それぞれに長所と短所がある。 固有知識編集と外部知識を活用した統一的な視点を確立するための,新しいマルチモーダル編集手法UniKEを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:13:53Z)
• Adaptive Token Biaser: Knowledge Editing via Biasing Key Entities [40.80018182698191]
  ATBiasはICEを強化するために設計された新しいデコード技術である。 ATBiasはICEのパフォーマンスを大幅に向上させ、最先端のICEメソッドよりも最大32.3%向上した。
  論文  参考訳（メタデータ） (2024-06-18T10:18:06Z)
• Is Factuality Enhancement a Free Lunch For LLMs? Better Factuality Can Lead to Worse Context-Faithfulness [39.74642729786543]
  我々は、現在の事実性向上手法は、大規模言語モデル(LLM)の文脈忠実性を著しく損なう可能性があると論じている。 実験の結果、これらの手法は事実の正確性に矛盾する改善をもたらす可能性があるが、文脈不信感の低下も引き起こすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-03-30T02:08:28Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
  知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。 本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。 実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
  論文  参考訳（メタデータ） (2023-10-03T15:10:46Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。