論文の概要: Successive Prompting for Decomposing Complex Questions
- arxiv url: http://arxiv.org/abs/2212.04092v1
- Date: Thu, 8 Dec 2022 06:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 15:25:28.868259
- Title: Successive Prompting for Decomposing Complex Questions
- Title(参考訳): 複雑な質問を分解するための逐次的プロンプト
- Authors: Dheeru Dua, Shivanshu Gupta, Sameer Singh, Matt Gardner
- Abstract要約: 最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。
そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。
我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
- 参考スコア(独自算出の注目度): 50.00659445976735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Answering complex questions that require making latent decisions is a
challenging task, especially when limited supervision is available. Recent
works leverage the capabilities of large language models (LMs) to perform
complex question answering in a few-shot setting by demonstrating how to output
intermediate rationalizations while solving the complex question in a single
pass. We introduce ``Successive Prompting'', where we iteratively break down a
complex task into a simple task, solve it, and then repeat the process until we
get the final solution. Successive prompting decouples the supervision for
decomposing complex questions from the supervision for answering simple
questions, allowing us to (1) have multiple opportunities to query in-context
examples at each reasoning step (2) learn question decomposition separately
from question answering, including using synthetic data, and (3) use bespoke
(fine-tuned) components for reasoning steps where a large LM does not perform
well. The intermediate supervision is typically manually written, which can be
expensive to collect. We introduce a way to generate a synthetic dataset which
can be used to bootstrap a model's ability to decompose and answer intermediate
questions. Our best model (with successive prompting) achieves an improvement
of ~5% absolute F1 on a few-shot version of the DROP dataset when compared with
a state-of-the-art model with the same supervision.
- Abstract(参考訳): 潜在的な意思決定が必要な複雑な質問に答えることは、特に限定的な監督が必要な場合には、難しい作業です。
最近の研究は、複雑な質問を単一のパスで解きながら中間的合理化を出力する方法を示すことで、数ショットで複雑な質問応答を行うために、大規模言語モデル(LM)の機能を活用している。
私たちは'Successive Prompting''を紹介します。そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。
逐次的促進は,単純な質問に答えるための監督から複雑な質問を分解する監督を分離し,(1)推論ステップ毎にコンテキスト内事例をクエリする複数の機会を得られるようにし,(2)合成データを含む質問応答から別々に質問分解を学習し,(3)大規模なLMがうまく機能しない推論ステップにおいて,(微調整)コンポーネントを使用する。
中間の監督は通常手動で書かれており、収集にはコストがかかる。
モデルが中間的な質問を分解して答える能力をブートストラップするために使用できる合成データセットを生成する方法を紹介する。
我々の最良のモデル(逐次プロンプト付き)は、同じ監督を持つ最先端モデルと比較して、DROPデータセットの複数ショットバージョンにおいて、約5%の絶対F1の改善を実現します。
関連論文リスト
- Unsupervised multiple choices question answering via universal corpus [27.78825771434918]
本稿では,MCQAデータを生成するための新しいフレームワークを提案する。
我々は、名前付きエンティティ(NE)と知識グラフの両方を活用して、完全な合成サンプルを形成するための可視な乱れを発見する。
論文 参考訳(メタデータ) (2024-02-27T09:10:28Z) - In-Context Ability Transfer for Question Decomposition in Complex QA [6.745884231594893]
複雑な問合せ課題を解決するために,icat(In-Context Ability Transfer)を提案する。
複雑な質問を単純な質問に分解したり、ステップバイステップの合理性をLSMに生成することができる。
本研究では, 数値推論, 構成複素QA, 不均一複素QAを含む多種多様な複雑なQAタスクについて大規模に実験を行った。
論文 参考訳(メタデータ) (2023-10-26T11:11:07Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳(メタデータ) (2023-09-17T04:18:39Z) - Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。
ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。
本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
論文 参考訳(メタデータ) (2023-07-08T04:32:17Z) - Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。
このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。
Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
論文 参考訳(メタデータ) (2022-10-05T17:28:20Z) - MultiModalQA: Complex Question Answering over Text, Tables and Images [52.25399438133274]
テキスト,テーブル,画像に対する共同推論を必要とするデータセットであるMultiModalQAを提案する。
大規模で複雑なマルチモーダル質問を生成するための新しいフレームワークを使用してMMQAを作成します。
次に、単一のモダリティから回答できる質問を受け取り、それらを組み合わせてクロスモーダルな質問を生成する形式言語を定義します。
論文 参考訳(メタデータ) (2021-04-13T09:14:28Z) - Coarse-grained decomposition and fine-grained interaction for multi-hop
question answering [5.88731657602706]
多くの複雑なクエリはマルチホップ推論を必要とする。
Bi-DAFは通常、複雑な質問における単語の表面意味論のみをキャプチャする。
マルチホップ回答のための新しいモデルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-01-15T06:56:34Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。