論文の概要: Do not Abstain! Identify and Solve the Uncertainty

• arxiv url: http://arxiv.org/abs/2506.00780v1
• Date: Sun, 01 Jun 2025 02:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.580866
• Title: Do not Abstain! Identify and Solve the Uncertainty
• Title（参考訳）: 忘れるな!不確かさを識別して解決する
• Authors: Jingyu Liu, Jingquan Peng, xiaopeng Wu, Xubin Li, Tiezheng Ge, Bo Zheng, Yong Liu,
• Abstract要約: bftextConfuseBenchは、主に文書不足、限られた能力、クエリのあいまいさの3つのタイプの不確実性に焦点を当てたベンチマークである。 実験によると、現在のLLMは不確実性の根本原因を正確に特定し、解決するのに苦労している。 まず、元のクエリの紛らわしい側面を浮き彫りにするコンテキストアウェアな問い合わせを生成します。 そして,質問の答えの特異性に基づいて不確実性の原因を判断する。
• 参考スコア（独自算出の注目度）: 25.744791822890036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the widespread application of Large Language Models (LLMs) across various domains, they frequently exhibit overconfidence when encountering uncertain scenarios, yet existing solutions primarily rely on evasive responses (e.g., "I don't know") overlooks the opportunity of identifying and addressing the uncertainty to generate more satisfactory responses. To systematically investigate and improve LLMs' ability of recognizing and addressing the source of uncertainty, we introduce \textbf{ConfuseBench}, a benchmark mainly focus on three types of uncertainty: document scarcity, limited capability, and query ambiguity. Experiments with ConfuseBench reveal that current LLMs struggle to accurately identify the root cause of uncertainty and solve it. They prefer to attribute uncertainty to query ambiguity while overlooking capability limitations, especially for those weaker models. To tackle this challenge, we first generate context-aware inquiries that highlight the confusing aspect of the original query. Then we judge the source of uncertainty based on the uniqueness of the inquiry's answer. Further we use an on-policy training method, InteractDPO to generate better inquiries. Experimental results demonstrate the efficacy of our approach.
• Abstract（参考訳）: さまざまなドメインで大規模言語モデル(LLM)が広く適用されているにもかかわらず、不確実なシナリオに直面すると、しばしば過剰な自信を示すが、既存のソリューションは主に回避的応答(例えば、"私は知らない")に依存しており、不確実性を特定し、対処する機会を見落とし、より満足な応答を生成する。 不確実性の原因を認識し,対処するLLMの能力を体系的に研究し,改善するために,文書の不足,限られた能力,クエリのあいまいさという,主に3種類の不確実性に着目したベンチマーク「textbf{ConfuseBench}」を紹介した。 ConfuseBenchによる実験によると、現在のLLMは不確実性の根本原因を正確に特定し、解決するのに苦労している。 彼らは、特に弱いモデルにおいて、能力制限を見下ろしながら、クエリのあいまいさを不確実性とみなすことを好む。 この課題に対処するために、最初に、元のクエリの紛らわしい側面を浮き彫りにするコンテキスト対応の問い合わせを生成する。 そして,質問の答えの特異性に基づいて不確実性の原因を判断する。 さらに、より優れた問い合わせを生成するために、オンラインのトレーニング手法であるInteractDPOを使用します。 実験の結果,本手法の有効性が示された。

関連論文リスト

• MAQA: Evaluating Uncertainty Quantification in LLMs Regarding Data Uncertainty [10.154013836043816]
  データ不確実性の存在下での過去の不確実性定量化手法について検討する。 以上の結果から,従来の手法はシングル・アンサー・セッティングに比べて比較的困難であったことが示唆された。 我々は,データ不確実性が存在する場合でも,エントロピーと一貫性に基づく手法がモデル不確実性を効果的に推定することを示した。
  論文  参考訳（メタデータ） (2024-08-13T11:17:31Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Examining LLMs' Uncertainty Expression Towards Questions Outside Parametric Knowledge [35.067234242461545]
  大規模言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において不確実性を表現する。 本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
  論文  参考訳（メタデータ） (2023-11-16T10:02:40Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models [44.117620571329596]
  我々は,不確定な回答がないことによる不確実性の高さを特徴とする,未知の疑問に対処することに注力する。 研究を容易にするために,Known-Unknown Questions (KUQ) を用いた新しいデータセットを収集した。 本稿では、このデータセットを用いて微調整したオープンソースのLLMの性能について検討し、未知のクエリと未知のクエリを区別する。
  論文  参考訳（メタデータ） (2023-05-23T05:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。