論文の概要: Overinformative Question Answering by Humans and Machines

• arxiv url: http://arxiv.org/abs/2305.07151v1
• Date: Thu, 11 May 2023 21:41:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 14:36:47.558629
• Title: Overinformative Question Answering by Humans and Machines
• Title（参考訳）: 人間と機械による過剰な質問応答
• Authors: Polina Tsvilodub, Michael Franke, Robert D. Hawkins, Noah D. Goodman
• Abstract要約: 人間の回答における過剰な表現性は、質問者の目標に対する関連性を考えることによって引き起こされることを示す。 本研究は, GPT-3が, 実例と認知動機のある説明によって導かれるときの, 刺激的かつ人間的な回答パターンの形式に非常に敏感であることを示す。
• 参考スコア（独自算出の注目度）: 26.31070412632125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When faced with a polar question, speakers often provide overinformative answers going beyond a simple "yes" or "no". But what principles guide the selection of additional information? In this paper, we provide experimental evidence from two studies suggesting that overinformativeness in human answering is driven by considerations of relevance to the questioner's goals which they flexibly adjust given the functional context in which the question is uttered. We take these human results as a strong benchmark for investigating question-answering performance in state-of-the-art neural language models, conducting an extensive evaluation on items from human experiments. We find that most models fail to adjust their answering behavior in a human-like way and tend to include irrelevant information. We show that GPT-3 is highly sensitive to the form of the prompt and only achieves human-like answer patterns when guided by an example and cognitively-motivated explanation.
• Abstract（参考訳）: 極性問題に直面した場合、話者は単純な「イエス」や「ノー」以上の過剰な回答を提供することが多い。 しかし、追加情報の選択を導く原則は何か? 本稿では, 人間の回答における過剰な表現性は, 質問者が発話する機能的文脈を考慮し, 柔軟に調整する質問者の目標との関連性を考慮したものであることを示す。 これらの結果は、最先端のニューラルネットワークモデルにおける質問応答性能を調査するための強力なベンチマークであり、人間の実験から得られた項目を広範囲に評価する。 ほとんどのモデルは、人間のような方法で回答行動を調整することができず、無関係な情報を含む傾向があります。 GPT-3はプロンプトの形式に非常に敏感であり、実例と認知的動機のある説明によって導かれるときのみ人間的な回答パターンが達成されることを示す。

関連論文リスト

• Analyzing Human Questioning Behavior and Causal Curiosity through Natural Queries [91.70689724416698]
  NatQuest(ナットクエスト)は、3つの異なるソースから自然発生の質問13,500件のコレクションである。 分析の結果,データセット内には因果的疑問(最大42%)が有意な存在であることが判明した。
  論文  参考訳（メタデータ） (2024-05-30T17:55:28Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation [38.78216651059955]
  実世界の情報検索フォローアップ質問生成(FQG)の課題について紹介する。 オープンエンド質問に対するRedditフレンドリーな説明を提供するフォーラムレイマンから収集した,3K以上の実世界のデータセット(初期質問,回答,フォローアップ質問)であるFOLLOWUPQGを構築した。 既存のデータセットとは対照的に、FOLLOWUPQGの質問は情報を求めるためにより多様な実用的戦略を使用し、高次認知能力も示している。
  論文  参考訳（メタデータ） (2023-09-10T11:58:29Z)
• Connecting Humanities and Social Sciences: Applying Language and Speech Technology to Online Panel Surveys [2.0646127669654835]
  オランダのパネル調査において,言語と音声技術のオープンエンド質問への適用について検討した。 実験波では、回答者は音声やキーボードを使ってオープンな質問に答えることができた。 本稿では,ASRシステムが生成した誤りを報告し,これらの誤りが下流解析に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-02-21T10:52:15Z)
• Single-Turn Debate Does Not Help Humans Answer Hard Reading-Comprehension Questions [29.932543276414602]
  議論スタイルのセットアップにおいて、正しい答えオプションと間違った回答オプションの両方に対して、単一の引数のデータセットを構築します。 私たちは長いコンテキストを使用します -- コンテキストに精通した人間は、事前に選択された正解と誤解に対する説得力のある説明を書きます。 これらの説明によって、完全な文脈を読まない人間が正しい答えをより正確に決定できるかどうかをテストする。
  論文  参考訳（メタデータ） (2022-04-11T15:56:34Z)
• How Do We Answer Complex Questions: Discourse Structure of Long-form Answers [51.973363804064704]
  3つのデータセットから収集した長文回答の機能構造について検討した。 私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。 我々の研究は、長期QAシステムの談話レベルのモデリングと評価に関する将来の研究に刺激を与えることができる。
  論文  参考訳（メタデータ） (2022-03-21T15:14:10Z)
• WebGPT: Browser-assisted question-answering with human feedback [12.865185980752733]
  我々はテキストベースのWebブラウジング環境を用いて、GPT-3を微調整し、長文の質問に答える。 事実の精度をより容易に評価するためには、モデルが回答を支持するために閲覧中に参照を収集する必要がある。 このモデルの回答は、人間のデモ参加者の回答の56%、Redditの回答の69%に好まれています。
  論文  参考訳（メタデータ） (2021-12-17T05:43:43Z)
• Open-domain clarification question generation without question examples [4.34222556313791]
  本稿では,極性(yes-no)を明確化できる問合せモデルを構築するための枠組みを提案する。 本モデルは,市販画像キャプタから情報的質問を導き出すために,期待された情報ゲイン目標を用いている。 我々は,目標志向の20質問ゲームにおいて,人間と合成者によるコミュニケーションの成功を促す質問を提示するモデルの能力を実証する。
  論文  参考訳（メタデータ） (2021-10-19T07:51:54Z)
• MixQG: Neural Question Generation with Mixed Answer Types [54.23205265351248]
  このギャップを埋めるために、ニューラル質問生成器MixQGを提案する。 yes/no, multiple-choice, extractive, abstractive answerなど,9つの質問応答データセットと多様な回答タイプを組み合わせる。 私たちのモデルは、目に見えない領域と見えない領域の両方で、既存の作業より優れています。
  論文  参考訳（メタデータ） (2021-10-15T16:03:40Z)
• Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
  大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。 人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
  論文  参考訳（メタデータ） (2021-06-12T17:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。