論文の概要: Successive Prompting for Decomposing Complex Questions

• arxiv url: http://arxiv.org/abs/2212.04092v1
• Date: Thu, 8 Dec 2022 06:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 15:25:28.868259
• Title: Successive Prompting for Decomposing Complex Questions
• Title（参考訳）: 複雑な質問を分解するための逐次的プロンプト
• Authors: Dheeru Dua, Shivanshu Gupta, Sameer Singh, Matt Gardner
• Abstract要約: 最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
• 参考スコア（独自算出の注目度）: 50.00659445976735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answering complex questions that require making latent decisions is a challenging task, especially when limited supervision is available. Recent works leverage the capabilities of large language models (LMs) to perform complex question answering in a few-shot setting by demonstrating how to output intermediate rationalizations while solving the complex question in a single pass. We introduce ``Successive Prompting'', where we iteratively break down a complex task into a simple task, solve it, and then repeat the process until we get the final solution. Successive prompting decouples the supervision for decomposing complex questions from the supervision for answering simple questions, allowing us to (1) have multiple opportunities to query in-context examples at each reasoning step (2) learn question decomposition separately from question answering, including using synthetic data, and (3) use bespoke (fine-tuned) components for reasoning steps where a large LM does not perform well. The intermediate supervision is typically manually written, which can be expensive to collect. We introduce a way to generate a synthetic dataset which can be used to bootstrap a model's ability to decompose and answer intermediate questions. Our best model (with successive prompting) achieves an improvement of ~5% absolute F1 on a few-shot version of the DROP dataset when compared with a state-of-the-art model with the same supervision.
• Abstract（参考訳）: 潜在的な意思決定が必要な複雑な質問に答えることは、特に限定的な監督が必要な場合には、難しい作業です。 最近の研究は、複雑な質問を単一のパスで解きながら中間的合理化を出力する方法を示すことで、数ショットで複雑な質問応答を行うために、大規模言語モデル(LM)の機能を活用している。 私たちは'Successive Prompting''を紹介します。そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 逐次的促進は,単純な質問に答えるための監督から複雑な質問を分解する監督を分離し,(1)推論ステップ毎にコンテキスト内事例をクエリする複数の機会を得られるようにし,(2)合成データを含む質問応答から別々に質問分解を学習し,(3)大規模なLMがうまく機能しない推論ステップにおいて,(微調整)コンポーネントを使用する。 中間の監督は通常手動で書かれており、収集にはコストがかかる。 モデルが中間的な質問を分解して答える能力をブートストラップするために使用できる合成データセットを生成する方法を紹介する。 我々の最良のモデル(逐次プロンプト付き)は、同じ監督を持つ最先端モデルと比較して、DROPデータセットの複数ショットバージョンにおいて、約5%の絶対F1の改善を実現します。

関連論文リスト

• LaSagnA: Language-based Segmentation Assistant for Complex Queries [39.620806493454616]
  視覚のための大規模言語モデル(vLLM)は、バウンディングボックスやマスクを含む知覚結果を生成する。 本研究では,これらの問題の主な原因が,学習クエリの複雑さの不足であることを認めた。 本稿では,提案フォーマットの直接統合による課題を効果的に解決するための3つの新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:40:45Z)
• Explainable Multi-hop Question Generation: An End-to-End Approach without Intermediate Question Labeling [6.635572580071933]
  マルチホップ質問生成は、複数の文書に対して多段階の推論を必要とする複雑な質問を生成することを目的としている。 従来の研究では、コンテキスト文書の表現に基づいて質問をデコードするエンド・ツー・エンド・モデルが主流であった。 本稿では,逐次書き直しによる質問の複雑さを増大させるエンドツーエンドの質問書き直しモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-31T06:03:54Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• In-Context Ability Transfer for Question Decomposition in Complex QA [6.745884231594893]
  複雑な問合せ課題を解決するために,icat(In-Context Ability Transfer)を提案する。 複雑な質問を単純な質問に分解したり、ステップバイステップの合理性をLSMに生成することができる。 本研究では, 数値推論, 構成複素QA, 不均一複素QAを含む多種多様な複雑なQAタスクについて大規模に実験を行った。
  論文  参考訳（メタデータ） (2023-10-26T11:11:07Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)
• Coarse-grained decomposition and fine-grained interaction for multi-hop question answering [5.88731657602706]
  多くの複雑なクエリはマルチホップ推論を必要とする。 Bi-DAFは通常、複雑な質問における単語の表面意味論のみをキャプチャする。 マルチホップ回答のための新しいモデルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-01-15T06:56:34Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。