論文の概要: How Do We Answer Complex Questions: Discourse Structure of Long-form Answers

• arxiv url: http://arxiv.org/abs/2203.11048v1
• Date: Mon, 21 Mar 2022 15:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 17:17:07.042258
• Title: How Do We Answer Complex Questions: Discourse Structure of Long-form Answers
• Title（参考訳）: 複雑な問いにどう答えるか - 長文回答の談話構造-
• Authors: Fangyuan Xu, Junyi Jessy Li, Eunsol Choi
• Abstract要約: 3つのデータセットから収集した長文回答の機能構造について検討した。 私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。 我々の研究は、長期QAシステムの談話レベルのモデリングと評価に関する将来の研究に刺激を与えることができる。
• 参考スコア（独自算出の注目度）: 51.973363804064704
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Long-form answers, consisting of multiple sentences, can provide nuanced and comprehensive answers to a broader set of questions. To better understand this complex and understudied task, we study the functional structure of long-form answers collected from three datasets, ELI5, WebGPT and Natural Questions. Our main goal is to understand how humans organize information to craft complex answers. We develop an ontology of six sentence-level functional roles for long-form answers, and annotate 3.9k sentences in 640 answer paragraphs. Different answer collection methods manifest in different discourse structures. We further analyze model-generated answers -- finding that annotators agree less with each other when annotating model-generated answers compared to annotating human-written answers. Our annotated data enables training a strong classifier that can be used for automatic analysis. We hope our work can inspire future research on discourse-level modeling and evaluation of long-form QA systems.
• Abstract（参考訳）: 複数の文からなる長文の回答は、幅広い質問に対するニュアンスと包括的回答を提供することができる。 本研究では,3つのデータセット(ELI5, WebGPT, Natural Questions)から収集した長文回答の機能構造について検討する。 私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。 長文文レベルの機能的役割のオントロジーを開発し、640段落の3.9k文を注釈化する。 異なる回答収集手法は、異なる談話構造に現れる。 モデル生成の回答をアノテートするよりも、モデル生成の回答をアノテートする場合にアノテータが互いに合意しないことを見出します。 アノテーション付きデータは、自動分析に使用できる強力な分類器のトレーニングを可能にします。 今後, 談話レベルのモデリングと長期QAシステムの評価について, 今後の研究に刺激を与えることを期待している。

関連論文リスト

• Question Answering in Natural Language: the Special Case of Temporal Expressions [0.0]
  本研究の目的は,1段落内の時間的質問に対する回答を見つけるために,一般的な質問応答や回答抽出に使用される一般的なアプローチを活用することである。 モデルをトレーニングするために、SQuADにインスパイアされた新しいデータセットを提案する。 本評価は,パターンマッチングを訓練した深層学習モデルにおいて,時間的質問応答に適応できることを示す。
  論文  参考訳（メタデータ） (2023-11-23T16:26:24Z)
• Concise Answers to Complex Questions: Summarization of Long-form Answers [27.190319030219285]
  我々は,最先端モデルから生成された要約された回答と,新たに提案した抽出・デコンテクライズ手法について,ユーザスタディを行った。 複雑で暗黙的な解答は圧縮が困難であるのに対し、少なくとも1つのシステムによって、大量の長文解答を適切に要約できることがわかった。 要約作業において,非コンテクスト化によって抽出された要約の質が向上し,その可能性を実証する。
  論文  参考訳（メタデータ） (2023-05-30T17:59:33Z)
• Model Analysis & Evaluation for Ambiguous Question Answering [0.0]
  質問回答モデルは、しばしば矛盾する情報の断片を組み合わせた長文の回答を生成するために必要である。 この分野の最近の進歩は、流動的な応答を発生させる強力な能力を示しているが、いくつかの研究課題は未解決のままである。 これらの側面を徹底的に調査し、現在のアプローチの限界について貴重な洞察を提供することを目指しています。
  論文  参考訳（メタデータ） (2023-05-21T15:20:20Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• WikiWhy: Answering and Explaining Cause-and-Effect Questions [62.60993594814305]
  自然言語で答えが正しい理由を説明するために構築されたQAデータセットであるWikiWhyを紹介する。 WikiWhyには、ウィキペディアのさまざまなトピックの事実に基づいて、9000以上の「なぜ」質問回答の3つ組が含まれている。 GPT-3ベースラインは、エンドツーエンドの回答と説明条件において、人間の評価された正しさを38.7%しか達成していない。
  論文  参考訳（メタデータ） (2022-10-21T17:59:03Z)
• AnswerSumm: A Manually-Curated Dataset and Pipeline for Answer Summarization [73.91543616777064]
  Stack OverflowやYahoo!のようなコミュニティ質問回答(CQA)フォーラムには、幅広いコミュニティベースの質問に対する回答の豊富なリソースが含まれている。 回答の要約の1つのゴールは、回答の視点の範囲を反映した要約を作成することである。 本研究は,専門言語学者による解答要約のための4,631個のCQAスレッドからなる新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2021-11-11T21:48:02Z)
• Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections [35.005593397252746]
  談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。 本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。 得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2021-11-01T04:50:26Z)
• A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers [66.11048565324468]
  1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。 各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。 他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
  論文  参考訳（メタデータ） (2021-05-07T00:12:34Z)
• GooAQ: Open Question Answering with Diverse Answer Types [63.06454855313667]
  さまざまな回答型を持つ大規模データセットであるGooAQを紹介する。 このデータセットには500万の質問と300万の回答が含まれている。
  論文  参考訳（メタデータ） (2021-04-18T05:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。