論文の概要: Inducing Artificial Uncertainty in Language Models

• arxiv url: http://arxiv.org/abs/2605.13595v1
• Date: Wed, 13 May 2026 14:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.105798
• Title: Inducing Artificial Uncertainty in Language Models
• Title（参考訳）: 言語モデルにおける人工不確かさの誘導
• Authors: Sophia Hager, Simon Zeng, Nicholas Andrews,
• Abstract要約: 安全クリティカルなアプリケーションでは、言語モデルは意味のある確率で不確実性を特徴付けることができるべきである。 多くの不確実な定量化アプローチは教師付きデータを必要とする。 大量のスクラップデータに基づいて訓練された大規模言語モデルにとって、適切な見当たらない挑戦的なデータを見つけることは、ますます困難になっている。
• 参考スコア（独自算出の注目度）: 5.789169343514737
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In safety-critical applications, language models should be able to characterize their uncertainty with meaningful probabilities. Many uncertainty quantification approaches require supervised data; however, finding suitable unseen challenging data is increasingly difficult for large language models trained on vast amounts of scraped data. If the model is consistently (and correctly) confident in its predictions, the uncertainty quantification method may consistently overestimate confidence on new and unfamiliar data. Finding data which exhibits enough uncertainty to train supervised uncertainty quantification methods for high-performance models may therefore be challenging, and will increase in difficulty as LLMs saturate datasets. To address this issue, we first introduce the problem of inducing artificial uncertainty in language models, then investigate methods of inducing artificial uncertainty on trivially easy data in the absence of challenging data at training time. We use probes trained to recognize artificial uncertainty on the original model, and find that these probes trained on artificial uncertainty outperform probes trained without artificial uncertainty in recognizing real uncertainty, achieving notably higher calibration on hard data with minimal loss of performance on easy data.
• Abstract（参考訳）: 安全クリティカルなアプリケーションでは、言語モデルは意味のある確率で不確実性を特徴付けることができるべきである。 多くの不確実性定量化手法は教師付きデータを必要とするが、大量のスクラップデータに基づいて訓練された大規模言語モデルでは、適切な未知の挑戦的データを見つけることはますます困難になっている。 もしモデルがその予測に一貫して(そして正しく)自信を持っているなら、不確実な定量化法は、新しい不慣れなデータに対する信頼を常に過大評価することができる。 高性能モデルのための教師付き不確実性定量法を訓練するのに十分な不確実性を示すデータを見つけることは困難であり、LLMが飽和データセットを飽和させるにつれて困難が増す可能性がある。 この問題に対処するために,まず,言語モデルにおける人工不確実性を誘導する問題を紹介し,訓練時に困難となるデータがない場合の自明なデータに対する人工不確実性を誘導する方法を検討する。 本研究は, 原モデルの人工不確実性を認識するために訓練されたプローブを用いて, 実不確実性を認識するために, 人工不確実性なく訓練された人工不確実性評価プローブを訓練し, 簡易データの性能損失を最小限に抑えながら, 硬質データの校正を顕著に行うことを発見した。

関連論文リスト

• Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty [19.65441892575154]
  UA-Benchは、知識集約型タスクと推論集約型タスクにまたがる6つのデータセットから抽出された3500以上の質問のベンチマークである。 18のフロンティアLCMの評価は、最先端のモデルでさえ、データの不確実性とモデルの不確実性を確実に識別するのに苦労していることを示している。 思考モードにおけるQwen3-4B-Instruct-2507とQwen3-8Bの両方の実験結果から,提案手法は解答精度を保ちながら不確実性が向上することが示された。
  論文  参考訳（メタデータ） (2026-04-19T07:15:23Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• ALUM: Adversarial Data Uncertainty Modeling from Latent Model Uncertainty Compensation [25.67258563807856]
  本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。 提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
  論文  参考訳（メタデータ） (2023-03-29T17:24:12Z)
• Exploring Predictive Uncertainty and Calibration in NLP: A Study on the Impact of Method & Data Scarcity [7.3372471678239215]
  我々は、幅広いアプローチから推定値の質を評価し、利用可能なデータ量に依存する。 事前訓練されたモデルとアンサンブルに基づくアプローチは全体として最高の結果を得るが、不確実性推定の品質は驚くほど多くのデータに悩まされる。
  論文  参考訳（メタデータ） (2022-10-20T15:42:02Z)
• Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
  ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。 我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-05-12T05:08:10Z)
• Deep Learning based Uncertainty Decomposition for Real-time Control [9.067368638784355]
  本稿では,ディープラーニングを用いたトレーニングデータの欠如を検出する新しい手法を提案する。 合成および実世界のデータセットに対する既存のアプローチに対する利点を示す。 さらに、シミュレーションされたクアッドコプターにオンラインデータ効率制御を展開させる上で、この不確実性推定の実用性を実証する。
  論文  参考訳（メタデータ） (2020-10-06T10:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。