論文の概要: In-Context Ability Transfer for Question Decomposition in Complex QA
- arxiv url: http://arxiv.org/abs/2310.18371v1
- Date: Thu, 26 Oct 2023 11:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 18:58:30.967720
- Title: In-Context Ability Transfer for Question Decomposition in Complex QA
- Title(参考訳): 複合QAにおける質問分解のための文脈内能力伝達
- Authors: Venktesh V, Sourangshu Bhattacharya, Avishek Anand
- Abstract要約: 複雑な問合せ課題を解決するために,icat(In-Context Ability Transfer)を提案する。
複雑な質問を単純な質問に分解したり、ステップバイステップの合理性をLSMに生成することができる。
本研究では, 数値推論, 構成複素QA, 不均一複素QAを含む多種多様な複雑なQAタスクについて大規模に実験を行った。
- 参考スコア(独自算出の注目度): 6.745884231594893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Answering complex questions is a challenging task that requires question
decomposition and multistep reasoning for arriving at the solution. While
existing supervised and unsupervised approaches are specialized to a certain
task and involve training, recently proposed prompt-based approaches offer
generalizable solutions to tackle a wide variety of complex question-answering
(QA) tasks. However, existing prompt-based approaches that are effective for
complex QA tasks involve expensive hand annotations from experts in the form of
rationales and are not generalizable to newer complex QA scenarios and tasks.
We propose, icat (In-Context Ability Transfer) which induces reasoning
capabilities in LLMs without any LLM fine-tuning or manual annotation of
in-context samples. We transfer the ability to decompose complex questions to
simpler questions or generate step-by-step rationales to LLMs, by careful
selection from available data sources of related tasks. We also propose an
automated uncertainty-aware exemplar selection approach for selecting examples
from transfer data sources. Finally, we conduct large-scale experiments on a
variety of complex QA tasks involving numerical reasoning, compositional
complex QA, and heterogeneous complex QA which require decomposed reasoning. We
show that ICAT convincingly outperforms existing prompt-based solutions without
involving any model training, showcasing the benefits of re-using existing
abilities.
- Abstract(参考訳): 複雑な質問への回答は、問題分解と解に到達するための多段階推論を必要とする課題である。
既存の教師なしおよび教師なしのアプローチは特定のタスクに特化しており、トレーニングを含むが、最近提案されたプロンプトベースのアプローチは、様々な複雑な質問応答(QA)タスクに取り組むための一般化可能なソリューションを提供する。
しかし、複雑なQAタスクに有効な既存のプロンプトベースのアプローチは、有理性の形で専門家の高価な手書きアノテーションを伴い、より新しい複雑なQAシナリオやタスクには一般化できない。
我々は,LLMの微調整や手動によるインコンテキストサンプルのアノテーションを使わずに,LLMにおける推論能力を誘導するicat(In-Context Ability Transfer)を提案する。
複雑な質問を簡易な質問に分解したり、関連タスクの利用可能なデータソースから慎重に選択することで、LCMにステップバイステップの合理性を生成することができる。
また,トランスファーデータソースからサンプルを選択するための,不確実性を考慮した自動例選択手法を提案する。
最後に, 数値的推論, 構成的複素QA, 分解的推論を必要とする複素QAを含む様々な複雑なQAタスクについて, 大規模に実験を行った。
ICATは、モデルトレーニングを伴わずに既存のプロンプトベースのソリューションを確実に上回り、既存の能力の再利用の利点を示す。
関連論文リスト
- Interactive-KBQA: Multi-Turn Interactions for Knowledge Base Question
Answering with Large Language Models [8.316367927545373]
Interactive-KBQAは知識ベース(KB)との直接インタラクションを通じて論理形式を生成するように設計されたフレームワークである
提案手法は,WebQuestionsSP, ComplexWebQuestions, KQA Pro, MetaQAデータセット上での競合結果を実現する。
論文 参考訳(メタデータ) (2024-02-23T06:32:18Z) - keqing: knowledge-based question answering is a nature chain-of-thought
mentor of LLM [27.76205400533089]
大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。
本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。
KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
論文 参考訳(メタデータ) (2023-12-31T08:39:04Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳(メタデータ) (2023-12-15T18:20:15Z) - SEMQA: Semi-Extractive Multi-Source Question Answering [98.76021956492697]
本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。
この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
論文 参考訳(メタデータ) (2023-11-08T18:46:32Z) - Active Prompting with Chain-of-Thought for Large Language Models [16.9127713032405]
本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。
不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。
実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
論文 参考訳(メタデータ) (2023-02-23T18:58:59Z) - Successive Prompting for Decomposing Complex Questions [50.00659445976735]
最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。
そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。
我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
論文 参考訳(メタデータ) (2022-12-08T06:03:38Z) - ProQA: Structural Prompt-based Pre-training for Unified Question
Answering [84.59636806421204]
ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。
全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。
ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
論文 参考訳(メタデータ) (2022-05-09T04:59:26Z) - A Survey on Multi-hop Question Answering and Generation [0.0]
MHQA(Multi-Hop QA)は近年最も研究されているタスクの一つである。
マルチホップ質問に回答し、マルチステップ推論を行う能力は、NLPシステムの実用性を大幅に向上させることができる。
この作業は、MHQAタスクの汎用的で正式な定義を提供し、既存のMHQAフレームワークを編成し、まとめることを目的としている。
論文 参考訳(メタデータ) (2022-04-19T21:55:18Z) - Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex
Healthcare Question Answering [89.76059961309453]
HeadQAデータセットには、公衆医療専門試験で認可された複数の選択質問が含まれている。
これらの質問は、現在のQAシステムにとって最も難しいものです。
知識抽出フレームワーク(MurKe)を用いた多段階推論を提案する。
市販の事前訓練モデルを完全に活用しようと努力しています。
論文 参考訳(メタデータ) (2020-08-06T02:47:46Z) - Unsupervised Question Decomposition for Question Answering [102.56966847404287]
本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。
当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
論文 参考訳(メタデータ) (2020-02-22T19:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。