論文の概要: Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs

• arxiv url: http://arxiv.org/abs/2311.09469v1
• Date: Thu, 16 Nov 2023 00:18:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 17:18:44.811887
• Title: Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs
• Title（参考訳）: 必要条件の明確化: LMとの相互作用による曖昧性の解消
• Authors: Michael J.Q. Zhang, Eunsol Choi
• Abstract要約: そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
• 参考スコア（独自算出の注目度）: 58.620269228776294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Resolving ambiguities through interaction is a hallmark of natural language, and modeling this behavior is a core challenge in crafting AI assistants. In this work, we study such behavior in LMs by proposing a task-agnostic framework for resolving ambiguity by asking users clarifying questions. Our framework breaks down this objective into three subtasks: (1) determining when clarification is needed, (2) determining what clarifying question to ask, and (3) responding accurately with the new information gathered through clarification. We evaluate systems across three NLP applications: question answering, machine translation and natural language inference. For the first subtask, we present a novel uncertainty estimation approach, intent-sim, that determines the utility of querying for clarification by estimating the entropy over user intents. Our method consistently outperforms existing uncertainty estimation approaches at identifying predictions that will benefit from clarification. When only allowed to ask for clarification on 10% of examples, our system is able to double the performance gains over randomly selecting examples to clarify. Furthermore, we find that intent-sim is robust, demonstrating improvements across a wide range of NLP tasks and LMs. Together, our work lays foundation for studying clarifying interactions with LMs.
• Abstract（参考訳）: 対話を通じてあいまいさを解決することは自然言語の目印であり、この振る舞いをモデル化することはAIアシスタントを作る上でのコアチャレンジである。 本研究では,ユーザに対して,あいまいさを解消するためのタスク非依存の枠組みを提案することで,LMにおけるそのような行動を研究する。 本枠組みは,(1) 明確化が必要な時期の決定,(2) 質問内容の明確化,(3) 明確化によって収集された情報に正確に応答する3つのサブタスクに分類する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 最初のサブタスクでは,ユーザの意図に対するエントロピーを推定し,クエリーによる明確化の有用性を判定する,新しい不確実性推定手法であるintent-simを提案する。 本手法は, 既存の不確実性推定手法を常に上回り, 明確化の恩恵を受ける予測を識別する。 10%の例で明確化を要求できるだけであれば,ランダムに選択した例に対して,性能向上率を2倍にすることが可能である。 さらに、インテントシムは頑健であり、幅広いNLPタスクやLMにまたがる改善を実証している。 本研究は, LMとの相互作用を明らかにするための基礎となる。

関連論文リスト

• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Active Task Disambiguation with LLMs [48.54945212561785]
  本稿では,タスクあいまいさの形式的定義を導入し,ベイズ実験設計のレンズによるタスクあいまいさの問題について考察する。 提案手法により,LLMエージェントは情報ゲインを最大化する目的の質問を生成することができる。 経験的な結果から、この形式の質問選択は、質問空間内でのみ推論に依存するアプローチに比べて、より効果的なタスクの曖昧さをもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-02-06T20:20:22Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks [9.979726030996051]
  私たちは、Shapleyの価値とLIMEがより忠実で妥当性が高いことを示す。 この結果から,一方の次元を一方の次元に最適化するのではなく,2つの目的を持つ説明可能性アルゴリズムを最適化する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-29T20:28:42Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
  本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)
• Interpretable by Design: Learning Predictors by Composing Interpretable Queries [8.054701719767293]
  機械学習アルゴリズムは設計によって解釈されるべきである。 正確な予測に必要なクエリの数を最小限に抑える。 視覚とNLPタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2022-07-03T02:40:34Z)
• Decision-Theoretic Question Generation for Situated Reference Resolution: An Empirical Study and Computational Model [11.543386846947554]
  遠隔実験者と対話しながらツールセットを整理する仮想ロボットを参加者が操作する対話型研究から対話データを分析した。 あいまいさを解消するために用いられる質問型の分布や、参照分解過程における対話レベル要因の影響など、多くの新しい結果が得られた。
  論文  参考訳（メタデータ） (2021-10-12T19:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。