論文の概要: PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

• arxiv url: http://arxiv.org/abs/2505.08784v1
• Date: Tue, 13 May 2025 17:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.704801
• Title: PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework
• Title（参考訳）: PCS-UQ:予測可能性-計算可能性-安定性フレームワークによる不確実性定量化
• Authors: Abhineet Agarwal, Michael Xiao, Rebecca Barter, Omer Ronen, Boyu Fan, Bin Yu,
• Abstract要約: 本稿では,検証データ科学における予測可能性,計算可能性,安定性の枠組みに基づく信頼性の高い不確実性定量化(UQ)手法を提案する。 PCS-UQは予測チェックを使用してモデル選択に対処し、不適切なモデルをスクリーニングする。 PCS-UQは、これらのスクリーニングされたアルゴリズムを複数のブートストラップに適合させ、サンプル間の変動とアルゴリズムの不安定性を評価する。
• 参考スコア（独自算出の注目度）: 6.160524342384932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning (ML) models are increasingly deployed in high-stakes domains, trustworthy uncertainty quantification (UQ) is critical for ensuring the safety and reliability of these models. Traditional UQ methods rely on specifying a true generative model and are not robust to misspecification. On the other hand, conformal inference allows for arbitrary ML models but does not consider model selection, which leads to large interval sizes. We tackle these drawbacks by proposing a UQ method based on the predictability, computability, and stability (PCS) framework for veridical data science proposed by Yu and Kumbier. Specifically, PCS-UQ addresses model selection by using a prediction check to screen out unsuitable models. PCS-UQ then fits these screened algorithms across multiple bootstraps to assess inter-sample variability and algorithmic instability, enabling more reliable uncertainty estimates. Further, we propose a novel calibration scheme that improves local adaptivity of our prediction sets. Experiments across $17$ regression and $6$ classification datasets show that PCS-UQ achieves the desired coverage and reduces width over conformal approaches by $\approx 20\%$. Further, our local analysis shows PCS-UQ often achieves target coverage across subgroups while conformal methods fail to do so. For large deep-learning models, we propose computationally efficient approximation schemes that avoid the expensive multiple bootstrap trainings of PCS-UQ. Across three computer vision benchmarks, PCS-UQ reduces prediction set size over conformal methods by $20\%$. Theoretically, we show a modified PCS-UQ algorithm is a form of split conformal inference and achieves the desired coverage with exchangeable data.
• Abstract（参考訳）: 機械学習(ML)モデルがハイテイクドメインにますますデプロイされるにつれて、これらのモデルの安全性と信頼性を確保する上で、信頼できる不確実性定量化(UQ)が重要である。 従来のUQ手法は、真の生成モデルを指定することに依存しており、誤特定に対して堅牢ではない。 一方、共形推論は任意のMLモデルを可能にするが、モデル選択を考慮せず、大きな間隔サイズに繋がる。 本稿では,Yu と Kumbier が提案する検証データ科学の予測可能性,計算可能性,安定性 (PCS) に基づく UQ 手法を提案することで,これらの欠点に対処する。 具体的には、PCS-UQは予測チェックを用いてモデル選択に対処し、不適切なモデルをスクリーニングする。 PCS-UQは、これらのスクリーニングされたアルゴリズムを複数のブートストラップに適合させ、サンプル間変動とアルゴリズム不安定性を評価し、より信頼性の高い不確実性推定を可能にする。 さらに,予測セットの局所的適応性を向上させる新しいキャリブレーション手法を提案する。 17ドルの回帰と6ドルの分類データセットによる実験は、PCS-UQが望ましいカバレッジを実現し、コンフォーメーションアプローチよりも幅を$\approx 20\%$に削減していることを示している。 さらに局所分析の結果,PCS-UQはサブグループ間を対象範囲とすることが多いが,コンフォメーション手法では適用できないことが判明した。 大規模ディープラーニングモデルに対しては,PCS-UQの高コストブートストラップトレーニングを回避するために,計算効率のよい近似手法を提案する。 3つのコンピュータビジョンベンチマークで、PCS-UQはコンフォメーションメソッドの予測セットサイズを20\%$に削減した。 理論的には、修正PCS-UQアルゴリズムは分割共形推論の形式であり、交換可能なデータで所望のカバレッジを実現する。

関連論文リスト

• Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
  動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。 このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。 この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-24T15:39:46Z)
• Adapting GT2-FLS for Uncertainty Quantification: A Blueprint Calibration Strategy [2.8391355909797644]
  不確実性定量化(UQ)は、信頼性の高いディープラーニング(DL)モデルを高スループットアプリケーションにデプロイするために不可欠である。 General Type-2 Fuzzy Logic Systems (GT2-FLSs) は、不確実性を捉えるために予測インターバル(PI)を提供するUQに有効であることが証明されている。 本研究では,GT2-FLSのブループリント校正戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-09T16:32:43Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• Online Conformal Probabilistic Numerics via Adaptive Edge-Cloud Offloading [52.499838151272016]
  本研究は, PLS が生成する HPD 集合を, 長期のカバレッジ要件を保証するため, キャリブレーションする手法を提案する。 提案手法は,クラウドからエッジへの散発的なフィードバックを前提としたオンライン共形予測PLS (OCP-PLS) と呼ばれる。 OCP-PLSの有効性は、カバレッジ、予測セットサイズ、クラウド利用のトレードオフに関する洞察をもたらす実験を通じて検証される。
  論文  参考訳（メタデータ） (2025-03-18T17:30:26Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Comparing the quality of neural network uncertainty estimates for classification problems [0.0]
  深層学習(DL)モデルに対する不確実性定量化(UQ)手法は,本研究で注目されている。 我々は,信頼区間の品質を評価するために,頻繁な区間範囲と区間幅の統計的手法を用いる。 本稿では、これらの異なるUQ for DL法をハイパースペクトル画像目標検出問題に適用し、異なる手法の結果の不整合を示す。
  論文  参考訳（メタデータ） (2023-08-11T01:55:14Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
  本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。 このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。 提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
  論文  参考訳（メタデータ） (2020-09-29T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。