論文の概要: MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions
- arxiv url: http://arxiv.org/abs/2305.14795v3
- Date: Mon, 9 Sep 2024 04:38:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 04:24:51.579706
- Title: MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions
- Title（参考訳）: MQuAKE:マルチホップ質問による言語モデルにおける知識編集の評価
- Authors: Zexuan Zhong, Zhengxuan Wu, Christopher D. Manning, Christopher Potts, Danqi Chen,
- Abstract要約: 編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。
本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
- 参考スコア（独自算出の注目度）: 75.21713251369225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The information stored in large language models (LLMs) falls out of date quickly, and retraining from scratch is often not an option. This has recently given rise to a range of techniques for injecting new facts through updating model weights. Current evaluation paradigms are extremely limited, mainly validating the recall of edited facts, but changing one fact should cause rippling changes to the model's related beliefs. If we edit the UK Prime Minister to now be Rishi Sunak, then we should get a different answer to Who is married to the British Prime Minister? In this work, we present a benchmark, MQuAKE (Multi-hop Question Answering for Knowledge Editing), comprising multi-hop questions that assess whether edited models correctly answer questions where the answer should change as an entailed consequence of edited facts. While we find that current knowledge-editing approaches can recall edited facts accurately, they fail catastrophically on the constructed multi-hop questions. We thus propose a simple memory-based approach, MeLLo, which stores all edited facts externally while prompting the language model iteratively to generate answers that are consistent with the edited facts. While MQuAKE remains challenging, we show that MeLLo scales well with LLMs (e.g., OpenAI GPT-3.5-turbo) and outperforms previous model editors by a large margin.
- Abstract（参考訳）: 大きな言語モデル(LLM)に格納されている情報は、すぐに時代遅れになり、スクラッチから再トレーニングすることは、多くの場合オプションではない。
これは最近、モデルの重みを更新することで、新しい事実を注入する様々なテクニックを生み出した。
現在の評価パラダイムは極めて限定的であり、主に編集された事実のリコールを検証するが、一つの事実を変更すると、モデルの関連する信念が不安定になる。
もし英国首相をリシ・スナックに編集したら、誰がイギリス首相と結婚するのか、別の答えを得るべきだ。
本稿では,MQuAKE (Multi-hop Question Answering for Knowledge Editing) というベンチマークを提示する。
現在の知識編集アプローチは、編集された事実を正確に思い出すことができるが、構築されたマルチホップの質問で破滅的に失敗する。
そこで我々は,単純なメモリベースアプローチであるMeLLoを提案する。これは,編集された事実と一致した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
MQuAKE は依然として挑戦的だが,MLLo は LLM (例えば OpenAI GPT-3.5-turbo) とよく似ており,従来のモデルエディタよりも大きな差がある。
関連論文リスト
- MQA-KEAL: Multi-hop Question Answering under Knowledge Editing for Arabic Language [7.488965571323756]
アラビア語(MQA-KEAL)の知識編集に基づくマルチホップ質問回答を提案する。
MQA-KEALは、知識編集を構造化知識単位として外部メモリに格納する。
また,KE による MQA の厳密な性能評価のための MQA-AEVAL も提案した。
論文 参考訳（メタデータ） (2024-09-18T18:40:02Z) - LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments [35.3938477255058]
本稿では,大規模言語モデル(GMeLLo)のためのグラフメモリベースの編集について述べる。
GMeLLoは、知識グラフの明示的な知識表現と、大規模言語モデルの言語的柔軟性を融合する。
以上の結果から,GMeLLoはマルチホップ質問応答ベンチマークであるMQuAKEにおいて,最先端の知識編集手法をはるかに上回っていることがわかった。
論文 参考訳（メタデータ） (2024-08-28T16:15:45Z) - Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing [38.590823330865845]
大規模言語モデル(LLM)は、内部知識の不正確さと時代遅れの情報による課題に直面している。
知識編集はこれらの問題を緩和するための重要なアプローチとして現れてきた。
大規模言語モデル編集(KELE)のための知識消去機構を組み込んだ新しい知識編集手法を提案する。
論文 参考訳（メタデータ） (2024-08-22T14:53:33Z) - Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs? [61.68363765350178]
本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。
まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。
次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
論文 参考訳（メタデータ） (2024-06-27T17:33:03Z) - Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
本稿では,従来のISsueを意識した復号化手法を提案する。
元のモデルと編集されたモデルとの確率分布の差を捉える。
我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
論文 参考訳（メタデータ） (2024-06-05T03:00:15Z) - WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。
更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。
記憶のギャップを埋めるためにWISEを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:35:52Z) - Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering [47.199078631274745]
大規模言語モデル(LLM)は質問応答タスクの習熟度を示しているが、しばしばリアルタイム知識の統合に苦慮している。
マルチホップ質問応答のためのRetrieval-Augmented Model Editing (RAE) フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-28T17:47:19Z) - PokeMQA: Programmable knowledge editing for Multi-hop Question Answering [46.80110170981976]
マルチホップ質問応答(MQA)は、マシンの理解と推論能力を評価する上で難しいタスクの1つである。
マルチホップ質問回答(MQA)のためのフレームワーク、Programmable Knowledge Editorを提案する。
具体的には、LLMの動作を外部のコンフリクト信号に応じて変調する訓練可能なスコープ検出器と相互作用しながら、知識強化されたマルチホップ質問を分解するよう促す。
論文 参考訳（メタデータ） (2023-12-23T08:32:13Z) - Does Localization Inform Editing? Surprising Differences in
Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。
特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。
我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
論文 参考訳（メタデータ） (2023-01-10T21:26:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。