論文の概要: Teaching Language Models to Faithfully Express their Uncertainty

• arxiv url: http://arxiv.org/abs/2510.12587v1
• Date: Tue, 14 Oct 2025 14:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.358046
• Title: Teaching Language Models to Faithfully Express their Uncertainty
• Title（参考訳）: 言語モデルに不確かさを忠実に表現するように教える
• Authors: Bryan Eikema, Evgenia Ilia, José G. C. de Souza, Chrysoula Zerva, Wilker Aziz,
• Abstract要約: 大きな言語モデル(LLM)は、しばしば不確実性を誤解する。 本稿では,FUT(Fithful Uncertainity Tuning)を導入し,不確かさを忠実に表現する指導用LLMを指導する。
• 参考スコア（独自算出の注目度）: 8.022069644392786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often miscommunicate their uncertainty: repeated queries can produce divergent answers, yet generated responses are typically unhedged or hedged in ways that do not reflect this variability. This conveys unfaithful information about the uncertain state of the LLMs' knowledge, creating a faithfulness gap that affects even strong LLMs. We introduce Faithful Uncertainty Tuning (FUT): a fine-tuning approach that teaches instruction-tuned LLMs to express uncertainty faithfully without altering their underlying answer distribution. We construct training data by augmenting model samples with uncertainty hedges (i.e. verbal cues such as 'possibly' or 'likely') aligned with sample consistency, requiring no supervision beyond the model and a set of prompts. We evaluate FUT on open-domain question answering (QA) across multiple models and datasets. Our results show that FUT substantially reduces the faithfulness gap, while preserving QA accuracy and introducing minimal semantic distribution shift. Further analyses demonstrate robustness across decoding strategies, choice of hedgers, and other forms of uncertainty expression (i.e. numerical). These findings establish FUT as a simple and effective way to teach LLMs to communicate uncertainty faithfully.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、しばしば不確実性を誤解する: 繰り返しクエリは、異なる回答を生成することができるが、生成された応答は通常、この変数を反映しない方法で、アンヘッジされるか、ヘッジされる。 このことは、LLMの知識の不確実な状態に関する不誠実な情報を伝達し、さらに強いLLMに影響を与える忠実なギャップを生み出す。 本稿では,FUT(Fhithful Uncertainity Tuning)について紹介する。FUT(Fhithful Uncertainty Tuning)は,学習者に対して,基礎となる回答分布を変更することなく,不確かさを忠実に表現するように教える微調整手法である。 本研究では,不確実なヘッジを持つモデルサンプル(例えば'可能性'や'類似')をサンプルの一貫性に整合させてトレーニングデータを構築し,モデル以外の監督やプロンプトのセットを必要としない。 オープンドメイン質問応答(QA)のFUTを複数のモデルとデータセットで評価する。 以上の結果から,FUTはQAの精度を保ちながら,最小限の意味分布シフトを導入しながら,忠実度ギャップを大幅に低減することがわかった。 さらなる分析は、デコード戦略、ヘッジラーの選択、および他の不確実性表現(すなわち数値)における堅牢性を示す。 これらの結果から,FUT は LLM に不確実性を忠実に伝えるための簡易かつ効果的な方法として確立された。

関連論文リスト

• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• Uncertainty Distillation: Teaching Language Models to Express Semantic Confidence [16.311538811237536]
  大規模言語モデル (LLM) は、事実質問に対する回答にますます使われている。 これらの不確実性の言葉化表現が意味を持つためには、表現された信頼度レベルでエラー率を反映すべきである。 そこで本研究では,LLMにセマンティック信頼度を校正する簡単な方法である不確かさ蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T21:29:29Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
  地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。 凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。 我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:22:49Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。