論文の概要: Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs
- arxiv url: http://arxiv.org/abs/2311.09469v1
- Date: Thu, 16 Nov 2023 00:18:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:18:44.811887
- Title: Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs
- Title(参考訳): 必要条件の明確化: LMとの相互作用による曖昧性の解消
- Authors: Michael J.Q. Zhang, Eunsol Choi
- Abstract要約: そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
- 参考スコア(独自算出の注目度): 58.620269228776294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Resolving ambiguities through interaction is a hallmark of natural language,
and modeling this behavior is a core challenge in crafting AI assistants. In
this work, we study such behavior in LMs by proposing a task-agnostic framework
for resolving ambiguity by asking users clarifying questions. Our framework
breaks down this objective into three subtasks: (1) determining when
clarification is needed, (2) determining what clarifying question to ask, and
(3) responding accurately with the new information gathered through
clarification. We evaluate systems across three NLP applications: question
answering, machine translation and natural language inference. For the first
subtask, we present a novel uncertainty estimation approach, intent-sim, that
determines the utility of querying for clarification by estimating the entropy
over user intents. Our method consistently outperforms existing uncertainty
estimation approaches at identifying predictions that will benefit from
clarification. When only allowed to ask for clarification on 10% of examples,
our system is able to double the performance gains over randomly selecting
examples to clarify. Furthermore, we find that intent-sim is robust,
demonstrating improvements across a wide range of NLP tasks and LMs. Together,
our work lays foundation for studying clarifying interactions with LMs.
- Abstract(参考訳): 対話を通じてあいまいさを解決することは自然言語の目印であり、この振る舞いをモデル化することはAIアシスタントを作る上でのコアチャレンジである。
本研究では,ユーザに対して,あいまいさを解消するためのタスク非依存の枠組みを提案することで,LMにおけるそのような行動を研究する。
本枠組みは,(1) 明確化が必要な時期の決定,(2) 質問内容の明確化,(3) 明確化によって収集された情報に正確に応答する3つのサブタスクに分類する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
最初のサブタスクでは,ユーザの意図に対するエントロピーを推定し,クエリーによる明確化の有用性を判定する,新しい不確実性推定手法であるintent-simを提案する。
本手法は, 既存の不確実性推定手法を常に上回り, 明確化の恩恵を受ける予測を識別する。
10%の例で明確化を要求できるだけであれば,ランダムに選択した例に対して,性能向上率を2倍にすることが可能である。
さらに、インテントシムは頑健であり、幅広いNLPタスクやLMにまたがる改善を実証している。
本研究は, LMとの相互作用を明らかにするための基礎となる。
関連論文リスト
- PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。
本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。
次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
論文 参考訳(メタデータ) (2024-02-26T14:40:34Z) - Introducing "Forecast Utterance" for Conversational Data Science [2.3894779000840503]
本稿では,Forecast Utteranceという新しいコンセプトを紹介する。
次に,これらの発話からユーザの予測目標を自動的かつ正確に解釈することに集中する。
具体的には、各スロットが目標予測タスクの特定の側面に対応するスロット充足問題として、タスクをフレーム化する。
1) エンティティ抽出 (EE) と 2) 質問応答 (QA) の2つの手法を用いる。
論文 参考訳(メタデータ) (2023-09-07T17:41:41Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Information Association for Language Model Updating by Mitigating
LM-Logical Discrepancy [68.31760483418901]
大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。
知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。
これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
論文 参考訳(メタデータ) (2023-05-29T19:48:37Z) - Active Prompting with Chain-of-Thought for Large Language Models [16.9127713032405]
本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。
不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。
実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
論文 参考訳(メタデータ) (2023-02-23T18:58:59Z) - Interpretable by Design: Learning Predictors by Composing Interpretable
Queries [8.054701719767293]
機械学習アルゴリズムは設計によって解釈されるべきである。
正確な予測に必要なクエリの数を最小限に抑える。
視覚とNLPタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2022-07-03T02:40:34Z) - PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of
Continuous Prompts [99.03864962014431]
目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。
実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
論文 参考訳(メタデータ) (2021-12-15T18:55:05Z) - Decision-Theoretic Question Generation for Situated Reference
Resolution: An Empirical Study and Computational Model [11.543386846947554]
遠隔実験者と対話しながらツールセットを整理する仮想ロボットを参加者が操作する対話型研究から対話データを分析した。
あいまいさを解消するために用いられる質問型の分布や、参照分解過程における対話レベル要因の影響など、多くの新しい結果が得られた。
論文 参考訳(メタデータ) (2021-10-12T19:23:25Z) - Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。
この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。
簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
論文 参考訳(メタデータ) (2020-07-01T19:53:35Z) - Visual Question Answering with Prior Class Semantics [50.845003775809836]
候補解のセマンティクスに関連する追加情報を利用する方法を示す。
セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。
提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
論文 参考訳(メタデータ) (2020-05-04T02:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。