論文の概要: PokeMQA: Programmable knowledge editing for Multi-hop Question Answering
- arxiv url: http://arxiv.org/abs/2312.15194v2
- Date: Thu, 15 Feb 2024 03:10:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 20:49:53.679295
- Title: PokeMQA: Programmable knowledge editing for Multi-hop Question Answering
- Title(参考訳): PokeMQA: マルチホップ質問回答のためのプログラム可能な知識編集
- Authors: Hengrui Gu, Kaixiong Zhou, Xiaotian Han, Ninghao Liu, Ruobing Wang,
Xin Wang
- Abstract要約: マルチホップ質問応答(MQA)は、マシンの理解と推論能力を評価する上で難しいタスクの1つである。
マルチホップ質問回答(MQA)のためのフレームワーク、Programmable Knowledge Editorを提案する。
具体的には、LLMの動作を外部のコンフリクト信号に応じて変調する訓練可能なスコープ検出器と相互作用しながら、知識強化されたマルチホップ質問を分解するよう促す。
- 参考スコア(独自算出の注目度): 46.80110170981976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-hop question answering (MQA) is one of the challenging tasks to
evaluate machine's comprehension and reasoning abilities, where large language
models (LLMs) have widely achieved the human-comparable performance. Due to the
dynamics of knowledge facts in real world, knowledge editing has been explored
to update model with the up-to-date facts while avoiding expensive re-training
or fine-tuning. Starting from the edited fact, the updated model needs to
provide cascading changes in the chain of MQA. The previous art simply adopts a
mix-up prompt to instruct LLMs conducting multiple reasoning tasks
sequentially, including question decomposition, answer generation, and conflict
checking via comparing with edited facts. However, the coupling of these
functionally-diverse reasoning tasks inhibits LLMs' advantages in comprehending
and answering questions while disturbing them with the unskilled task of
conflict checking. We thus propose a framework, Programmable knowledge editing
for Multi-hop Question Answering (PokeMQA), to decouple the jobs. Specifically,
we prompt LLMs to decompose knowledge-augmented multi-hop question, while
interacting with a detached trainable scope detector to modulate LLMs behavior
depending on external conflict signal. The experiments on three LLM backbones
and two benchmark datasets validate our superiority in knowledge editing of
MQA, outperforming all competitors by a large margin in almost all settings and
consistently producing reliable reasoning process.
- Abstract(参考訳): マルチホップ質問応答(mqa、multi-hop question answering)は、機械の理解と推論能力を評価するための困難なタスクの1つであり、大規模言語モデル(llm)が人間の比較可能な性能を広く達成している。
実世界の知識事実のダイナミクスにより、知識編集は、高価な再訓練や微調整を避けつつ、最新の事実でモデルを更新するために研究されている。
編集された事実から始めて、更新されたモデルはMQAの連鎖のカスケード的な変更を提供する必要があります。
従来の技術では、質問分解、回答生成、コンフリクトチェックを含む複数の推論タスクを、編集された事実と比較することで順次実行するようLLMに指示する混合プロンプトを単に採用している。
しかし、これらの機能的多角的推論タスクの結合は、コンフリクトチェックの未熟なタスクを邪魔しながら、質問の理解と回答においてllmsの利点を阻害する。
そこで我々は,マルチホップ質問回答(PokeMQA)のための,プログラム可能な知識編集フレームワークを提案する。
具体的には,外部のコンフリクト信号に応じてllmsの挙動を変調するために,分離学習可能なスコープ検出器と対話しながら,知識提示型マルチホップ質問の分解を促す。
3つのllmバックボーンと2つのベンチマークデータセットに関する実験は、mqaの知識編集における当社の優位性を検証し、ほぼすべての設定において、すべての競合相手を圧倒し、一貫して信頼できる推論プロセスを生み出しています。
関連論文リスト
- Retrieval-Enhanced Knowledge Editing for Multi-Hop Question Answering in Language Models [47.199078631274745]
大規模言語モデル(LLM)は質問応答タスクの習熟度を示しているが、しばしばリアルタイム知識更新の統合に苦慮している。
マルチホップ質問応答に適したRetrieval-Augmented Model Editing (RAE) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-28T17:47:19Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - GenDec: A robust generative Question-decomposition method for Multi-hop
reasoning [32.12904215053187]
マルチホップQAには、複雑な質問に答えるステップバイステップの推論が含まれる。
マルチホップ質問応答における既存の大規模言語モデル(LLM)推論能力は現在も探索が続けられている。
LLMが正しい結論に達するために望ましい推論連鎖に従うかどうかは不明である。
論文 参考訳(メタデータ) (2024-02-17T02:21:44Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳(メタデータ) (2023-10-05T00:04:12Z) - Triggering Multi-Hop Reasoning for Question Answering in Language Models
using Soft Prompts and Random Walks [1.5254598796939924]
構造化知識グラフ上のランダムウォークを頼りにすることで,この制限を改善する手法を提案する。
具体的には、ソフトプロンプトを使用して、複数のホップ質問をランダムなウォークパスにマッピングすることで、LMのコード化された知識をチェーン化する。
2 つの T5 LM にメソッドを適用することで、2 ホップ推論を必要とする問題に答える上で、標準チューニングアプローチよりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2023-06-06T20:45:18Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-04-28T10:15:25Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。