論文の概要: Position: Uncertainty Quantification Needs Reassessment for Large-language Model Agents

• arxiv url: http://arxiv.org/abs/2505.22655v1
• Date: Wed, 28 May 2025 17:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.793918
• Title: Position: Uncertainty Quantification Needs Reassessment for Large-language Model Agents
• Title（参考訳）: 位置:不確実性定量化は大規模モデルエージェントの再評価を必要とする
• Authors: Michael Kirchhof, Gjergji Kasneci, Enkelejda Kasneci,
• Abstract要約: このポジションペーパーでは、従来の不確実性の二分法は、LLMエージェントが操作するオープンでインタラクティブな設定にはあまりに制限されていると論じている。 このような人間とコンピュータの相互作用における不確実性に着目した3つの新しい研究指針を提案する。
• 参考スコア（独自算出の注目度）: 19.974114160377045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-language models (LLMs) and chatbot agents are known to provide wrong outputs at times, and it was recently found that this can never be fully prevented. Hence, uncertainty quantification plays a crucial role, aiming to quantify the level of ambiguity in either one overall number or two numbers for aleatoric and epistemic uncertainty. This position paper argues that this traditional dichotomy of uncertainties is too limited for the open and interactive setup that LLM agents operate in when communicating with a user, and that we need to research avenues that enrich uncertainties in this novel scenario. We review the literature and find that popular definitions of aleatoric and epistemic uncertainties directly contradict each other and lose their meaning in interactive LLM agent settings. Hence, we propose three novel research directions that focus on uncertainties in such human-computer interactions: Underspecification uncertainties, for when users do not provide all information or define the exact task at the first go, interactive learning, to ask follow-up questions and reduce the uncertainty about the current context, and output uncertainties, to utilize the rich language and speech space to express uncertainties as more than mere numbers. We expect that these new ways of dealing with and communicating uncertainties will lead to LLM agent interactions that are more transparent, trustworthy, and intuitive.
• Abstract（参考訳）: 大規模言語モデル(LLM)とチャットボットエージェントは、時に間違ったアウトプットを提供することが知られており、最近は完全には防止できないことが判明した。 したがって、不確かさの定量化は重要な役割を担い、1つの全体数または2つの数のあいまいさのレベルを定量化することを目的としている。 このポジションペーパーでは、従来の不確実性の二分法は、LLMエージェントがユーザと通信する際に作動するオープンでインタラクティブな設定にはあまりに限定的であり、この新たなシナリオにおいて不確実性を富む方法を研究する必要があると論じている。 文献をレビューし,アラート性およびてんかん性不確実性の一般的な定義が互いに直接矛盾し,対話型LLMエージェント設定においてそれらの意味を失うことを発見した。 そこで我々は,このような人間とコンピュータの相互作用における不確実性に着目した3つの新しい研究方向を提案する:不確実性: ユーザがすべての情報を提供していない場合,あるいは最初の行で正確なタスクを定義していない場合,対話的学習,フォローアップ質問の低減,現在の状況に関する不確実性の低減,不確実性の出力,そして,リッチ言語と音声空間を利用して,不確実性を表現すること。 こうした不確実性に対処し、コミュニケーションする新しい方法は、より透明性があり、信頼性があり、直感的なLLMエージェントの相互作用につながると期待している。

関連論文リスト

• Semantic Volume: Quantifying and Detecting both External and Internal Uncertainty in LLMs [13.982395477368396]
  大規模言語モデル (LLM) は、膨大な事実知識を符号化することで、様々なタスクにまたがる顕著な性能を示した。 彼らはまだ幻覚を起こす傾向があり、誤った情報や誤解を招く情報を生み出し、しばしば高い不確実性を伴う。 LLMにおける外部不確実性と内部不確実性の両方を定量化する新しい尺度であるSemantic Volumeを紹介する。
  論文  参考訳（メタデータ） (2025-02-28T17:09:08Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space [14.715989394285238]
  既存のLarge Language Models (LLM) には、ユーザが生成するレスポンスごとに不確実性/信頼度を計測するための固有の機能がない。 本稿では,これらの課題に対処する新しい枠組みを提案する。 意味密度は、意味空間における確率分布の観点から各応答の不確かさ/自信情報を抽出する。
  論文  参考訳（メタデータ） (2024-05-22T17:13:49Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty [53.336235704123915]
  提案手法は, 自然言語による応答の信頼度と, LMによる不確実性に応答して下流ユーザーがどのように振る舞うかを考察する。 誤応答を生じた場合でも,LMは疑問に答える際の不確実性を表現することに消極的であることがわかった。 我々は、人間の実験によって、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。 最後に、トレーニング後のアライメントに使用する嗜好アノテートデータセットを調査し、不確実性のあるテキストに対して人間がバイアスを受けていることを確認する。
  論文  参考訳（メタデータ） (2024-01-12T18:03:30Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。