論文の概要: Mixture of Prompt Experts for Generalizable and Interpretable Question
Answering
- arxiv url: http://arxiv.org/abs/2305.14628v1
- Date: Wed, 24 May 2023 02:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 20:37:40.254355
- Title: Mixture of Prompt Experts for Generalizable and Interpretable Question
Answering
- Title(参考訳): 一般化・解釈可能な質問応答のためのプロンプトエキスパートの混合
- Authors: Chenglei Si, Weijia Shi, Chen Zhao, Luke Zettlemoyer, Jordan
Boyd-Graber
- Abstract要約: 我々は,複数の特殊なLLMをアンサンブルするMOPEシステムを提案する。
各質問に対して最適な特化モデルを戦略的に選択することにより、MOPEシステムは、12のQAデータセットのコレクション上で、どの特化モデルよりも大幅に優れています。
我々の人間による研究は、専門家による予測と回答の選択プロセスの提示が、アノテータがシステムの出力をいつ信頼するかをより正確に決定するのに役立つことを確認している。
- 参考スコア(独自算出の注目度): 61.63786831192267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the ultimate quests of question answering (QA) is to deploy a system
that can answer any type of question from the users, and refrain from answering
when it does not know the answer. While recent advancements in scaling large
language models (LLMs) brought significant improvements on various QA datasets,
it remains difficult for a single model to generalize across question types
that require distinct reasoning abilities. In this paper, we first provide
empirical evidence that state-of-the-art LLMs such as Codex suffer from poor
generalizability on question types beyond those seen in the prompt. To address
this, we propose a Mixture-of-Prompt-Experts (MOPE) system that ensembles
multiple specialized LLMs. We first implement each specialized model based on
the same backbone model (Codex) but with prompts optimized for different
reasoning categories including factual, multihop, mathematical, and commonsense
reasoning. By strategically selecting the best specialized model for each given
question, our MOPE system significantly outperforms any single specialized
model on a collection of 12 QA datasets from four reasoning types. Moreover,
the attribution and agreement among specialized expert models offer greater
interpretability, allowing for better selective question answering. Our human
study further confirms that presenting the expert predictions and answer
selection process helps annotators more accurately decide when to trust the
system's output. We release all code and data to facilitate future work.
- Abstract(参考訳): 質問応答(QA)の究極的な探求の1つは、ユーザーからどんな種類の質問にも答えられるシステムをデプロイし、答えを知らないときの回答を控えることである。
近年の大規模言語モデル(LLM)のスケーリングの進歩は、様々なQAデータセットに大幅な改善をもたらしたが、特定の推論能力を必要とする質問タイプを1つのモデルで一般化することは困難である。
本稿では,まず,codex のような最先端の llm が,プロンプトで見られるものよりも,質問型の一般化性に乏しいことを実証的に示す。
そこで本研究では,複数の特殊なLLMをアンサンブルするMOPEシステムを提案する。
我々はまず,同じバックボーンモデル(Codex)に基づいて各専門モデルを実装するが,実数,マルチホップ,数学的,コモンセンスの推論など,さまざまな推論カテゴリに最適化されたプロンプトを持つ。
それぞれの質問に対して最適な特化モデルを戦略的に選択することにより、MOPEシステムは4つの推論型から12のQAデータセットの集合において、どの特化モデルよりも有意に優れている。
さらに、専門的な専門家モデル間の属性と合意は、より深い解釈可能性を提供し、より良い選択的な質問応答を可能にする。
また,人間実験では,専門家の予測と回答選択のプロセスが,システムの出力をいつ信頼するかをより正確に判断するのに役立つことを確認した。
将来の作業を容易にするために、すべてのコードとデータをリリースします。
関連論文リスト
- Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。
広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。
本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
論文 参考訳(メタデータ) (2024-04-25T10:03:14Z) - A Study on Large Language Models' Limitations in Multiple-Choice
Question Answering [0.0]
26の小さなオープンソースモデルを分析し、その65%がタスクを理解していないことを発見した。
与えられた選択から解を適切に選ぶのは4つのモデルのみであり、これらのモデルのうち選択順序に依存しないのは5つのモデルのみである。
論文 参考訳(メタデータ) (2024-01-15T20:42:16Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳(メタデータ) (2023-09-14T16:54:34Z) - STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。
我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
論文 参考訳(メタデータ) (2023-02-13T22:34:02Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳(メタデータ) (2022-09-20T07:04:24Z) - Mixture of Experts for Biomedical Question Answering [34.92691831878302]
そこで我々はMOEBQAと呼ばれるMixture-of-Expert (MoE)ベースの質問応答手法を提案する。
MoEBQAはスパースルーティングによって異なるタイプの質問の計算を分離する。
実検に基づいて構築した3つのバイオメディカル質問応答(BQA)データセットのMOEBQAを評価する。
論文 参考訳(メタデータ) (2022-04-15T14:11:40Z) - Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。
提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
論文 参考訳(メタデータ) (2021-04-18T07:00:48Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。