論文の概要: PokeMQA: Programmable knowledge editing for Multi-hop Question Answering
- arxiv url: http://arxiv.org/abs/2312.15194v2
- Date: Thu, 15 Feb 2024 03:10:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 20:49:53.679295
- Title: PokeMQA: Programmable knowledge editing for Multi-hop Question Answering
- Title（参考訳）: PokeMQA: マルチホップ質問回答のためのプログラム可能な知識編集
- Authors: Hengrui Gu, Kaixiong Zhou, Xiaotian Han, Ninghao Liu, Ruobing Wang,
Xin Wang
- Abstract要約: マルチホップ質問応答(MQA)は、マシンの理解と推論能力を評価する上で難しいタスクの1つである。
マルチホップ質問回答(MQA)のためのフレームワーク、Programmable Knowledge Editorを提案する。
具体的には、LLMの動作を外部のコンフリクト信号に応じて変調する訓練可能なスコープ検出器と相互作用しながら、知識強化されたマルチホップ質問を分解するよう促す。
- 参考スコア（独自算出の注目度）: 46.80110170981976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-hop question answering (MQA) is one of the challenging tasks to
evaluate machine's comprehension and reasoning abilities, where large language
models (LLMs) have widely achieved the human-comparable performance. Due to the
dynamics of knowledge facts in real world, knowledge editing has been explored
to update model with the up-to-date facts while avoiding expensive re-training
or fine-tuning. Starting from the edited fact, the updated model needs to
provide cascading changes in the chain of MQA. The previous art simply adopts a
mix-up prompt to instruct LLMs conducting multiple reasoning tasks
sequentially, including question decomposition, answer generation, and conflict
checking via comparing with edited facts. However, the coupling of these
functionally-diverse reasoning tasks inhibits LLMs' advantages in comprehending
and answering questions while disturbing them with the unskilled task of
conflict checking. We thus propose a framework, Programmable knowledge editing
for Multi-hop Question Answering (PokeMQA), to decouple the jobs. Specifically,
we prompt LLMs to decompose knowledge-augmented multi-hop question, while
interacting with a detached trainable scope detector to modulate LLMs behavior
depending on external conflict signal. The experiments on three LLM backbones
and two benchmark datasets validate our superiority in knowledge editing of
MQA, outperforming all competitors by a large margin in almost all settings and
consistently producing reliable reasoning process.
- Abstract（参考訳）: マルチホップ質問応答(mqa、multi-hop question answering)は、機械の理解と推論能力を評価するための困難なタスクの1つであり、大規模言語モデル(llm)が人間の比較可能な性能を広く達成している。
実世界の知識事実のダイナミクスにより、知識編集は、高価な再訓練や微調整を避けつつ、最新の事実でモデルを更新するために研究されている。
編集された事実から始めて、更新されたモデルはMQAの連鎖のカスケード的な変更を提供する必要があります。
従来の技術では、質問分解、回答生成、コンフリクトチェックを含む複数の推論タスクを、編集された事実と比較することで順次実行するようLLMに指示する混合プロンプトを単に採用している。
しかし、これらの機能的多角的推論タスクの結合は、コンフリクトチェックの未熟なタスクを邪魔しながら、質問の理解と回答においてllmsの利点を阻害する。
そこで我々は,マルチホップ質問回答(PokeMQA)のための,プログラム可能な知識編集フレームワークを提案する。
具体的には,外部のコンフリクト信号に応じてllmsの挙動を変調するために,分離学習可能なスコープ検出器と対話しながら,知識提示型マルチホップ質問の分解を促す。
3つのllmバックボーンと2つのベンチマークデータセットに関する実験は、mqaの知識編集における当社の優位性を検証し、ほぼすべての設定において、すべての競合相手を圧倒し、一貫して信頼できる推論プロセスを生み出しています。
関連論文リスト
- Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。
RAITは、初期LCMの応答の正しさに基づいてトレーニングサンプルを変更する。
この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。
論文 参考訳（メタデータ） (2024-10-09T14:12:51Z) - MQA-KEAL: Multi-hop Question Answering under Knowledge Editing for Arabic Language [7.488965571323756]
アラビア語(MQA-KEAL)の知識編集に基づくマルチホップ質問回答を提案する。
MQA-KEALは、知識編集を構造化知識単位として外部メモリに格納する。
また,KE による MQA の厳密な性能評価のための MQA-AEVAL も提案した。
論文 参考訳（メタデータ） (2024-09-18T18:40:02Z) - LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments [35.3938477255058]
本稿では,大規模言語モデル(GMeLLo)のためのグラフメモリベースの編集について述べる。
GMeLLoは、知識グラフの明示的な知識表現と、大規模言語モデルの言語的柔軟性を融合する。
以上の結果から,GMeLLoはマルチホップ質問応答ベンチマークであるMQuAKEにおいて,最先端の知識編集手法をはるかに上回っていることがわかった。
論文 参考訳（メタデータ） (2024-08-28T16:15:45Z) - Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing [38.590823330865845]
大規模言語モデル(LLM)は、内部知識の不正確さと時代遅れの情報による課題に直面している。
知識編集はこれらの問題を緩和するための重要なアプローチとして現れてきた。
大規模言語モデル編集(KELE)のための知識消去機構を組み込んだ新しい知識編集手法を提案する。
論文 参考訳（メタデータ） (2024-08-22T14:53:33Z) - Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering [47.199078631274745]
大規模言語モデル(LLM)は質問応答タスクの習熟度を示しているが、しばしばリアルタイム知識の統合に苦慮している。
マルチホップ質問応答のためのRetrieval-Augmented Model Editing (RAE) フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-28T17:47:19Z) - On the Robustness of Editing Large Language Models [57.477943944826904]
大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。
この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
論文 参考訳（メタデータ） (2024-02-08T17:06:45Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳（メタデータ） (2023-10-05T00:04:12Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2023-04-28T10:15:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。