論文の概要: Asking the Right Question at the Right Time: Human and Model Uncertainty Guidance to Ask Clarification Questions

• arxiv url: http://arxiv.org/abs/2402.06509v1
• Date: Fri, 9 Feb 2024 16:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 16:15:08.786186
• Title: Asking the Right Question at the Right Time: Human and Model Uncertainty Guidance to Ask Clarification Questions
• Title（参考訳）: 正しいタイミングで正しい質問をする:人間とモデル不確実性ガイダンスによる質問の明確化
• Authors: Alberto Testoni and Raquel Fern\'andez
• Abstract要約: モデルの不確実性は、人間の明確化と探索の振る舞いを反映しないことを示す。 本稿では,モデル不確実性推定に基づく明確化問題の生成手法を提案する。
• 参考スコア（独自算出の注目度）: 2.3838507844983248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clarification questions are an essential dialogue tool to signal misunderstanding, ambiguities, and under-specification in language use. While humans are able to resolve uncertainty by asking questions since childhood, modern dialogue systems struggle to generate effective questions. To make progress in this direction, in this work we take a collaborative dialogue task as a testbed and study how model uncertainty relates to human uncertainty -- an as yet under-explored problem. We show that model uncertainty does not mirror human clarification-seeking behavior, which suggests that using human clarification questions as supervision for deciding when to ask may not be the most effective way to resolve model uncertainty. To address this issue, we propose an approach to generating clarification questions based on model uncertainty estimation, compare it to several alternatives, and show that it leads to significant improvements in terms of task success. Our findings highlight the importance of equipping dialogue systems with the ability to assess their own uncertainty and exploit in interaction.
• Abstract（参考訳）: 明確化質問は、言語使用における誤解、あいまいさ、過度な特定を知らせるために必要な対話ツールである。 人間は子供時代から質問することで不確実性を解消できるが、現代の対話システムは効果的な質問を生み出すのに苦労している。 この方向を前進させるために、本研究では、協調対話タスクをテストベッドとして、モデルの不確実性が人間の不確実性にどう関連しているかを研究する。 モデル不確実性は人間の明確化探索行動を反映していないことが示され、モデル不確実性を解決する最も効果的な方法ではない可能性が示唆された。 そこで本研究では,モデル不確実性推定に基づく明確化問題の生成手法を提案し,それをいくつかの代替案と比較し,タスク成功の観点から大きな改善をもたらすことを示す。 本研究は,対話システムに不確実性を評価し,対話を活用できることの重要性を強調した。

関連論文リスト

• Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
  視覚言語AIシステムに特有の不確実性の分類法を提案する。 また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
  論文  参考訳（メタデータ） (2024-07-02T04:23:54Z)
• On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
  大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。 この研究はベイズ決定論の観点からこれらの課題に対処する。 本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。 提案手法はブラックボックス言語モデルに適用できる。
  論文  参考訳（メタデータ） (2024-06-07T18:54:40Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Solving NLP Problems through Human-System Collaboration: A Discussion-based Approach [98.13835740351932]
  本研究の目的は,対話を通じて予測を議論・洗練するシステムのための,データセットと計算フレームワークを構築することである。 提案システムでは,自然言語推論タスクにおいて,最大25ポイントの精度向上が期待できることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:24:50Z)
• Open-domain clarification question generation without question examples [4.34222556313791]
  本稿では,極性(yes-no)を明確化できる問合せモデルを構築するための枠組みを提案する。 本モデルは,市販画像キャプタから情報的質問を導き出すために,期待された情報ゲイン目標を用いている。 我々は,目標志向の20質問ゲームにおいて,人間と合成者によるコミュニケーションの成功を促す質問を提示するモデルの能力を実証する。
  論文  参考訳（メタデータ） (2021-10-19T07:51:54Z)
• Deciding Whether to Ask Clarifying Questions in Large-Scale Spoken Language Understanding [28.195853603190447]
  大規模会話エージェントは、様々なあいまいさでユーザの発話を理解するのに苦しむことがある。 本稿では,あいまいさと文脈的信号による仮説を生かした神経自覚モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-25T22:32:10Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。