論文の概要: Benchmarking uncertainty quantification for engineering regression under graded distribution shift
- arxiv url: http://arxiv.org/abs/2610.35356v1
- Date: Mon, 26 Oct 2026 12:47:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.930855
- Title: Benchmarking uncertainty quantification for engineering regression under graded distribution shift
- Title(参考訳): 等級分布シフト下における工学回帰のための不確かさ定量化のベンチマーク
- Abstract要約: 既存の回帰UQ法の比較は、ランダムな分割に依存している。
物理的に意味のあるシフト変数に沿って構築された3輪シフトラグを導入する。
7つのパブリックエンジニアリングデータセット上で,5つのファミリーから12の手法を評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models in engineering are often used beyond their training conditions, where reliable uncertainty quantification (UQ) matters most. Existing comparisons of regression UQ methods rely on random splits, which assess calibration only in distribution. We introduce a three-rung shift ladder (in distribution, soft shift and hard shift) built along physically meaningful shift variables, and evaluate 12 methods from five families on seven public engineering datasets: five extrapolation settings, an unseen turbofan fault mode and a winter air-quality sensor deployment. All tuning uses source data only. In distribution, conformal methods cover at least 0.946 of test points on every dataset. Under hard shift, mean coverage falls to 0.40-0.75 across the 11 methods that always return an interval, and no systematic difference in method ranks is detected (Friedman p = 0.63). Weighted conformalised quantile regression stays near nominal on the points it answers, but abstains on 85\% of hard-shift points on average and covers only 0.67 of the few Concrete points it answers. Source-validation gains predict improvement in distribution and under soft shift, but not under hard shift (Spearman's rho = 0.04). Engineering evaluations should split calibration data by deployment unit, report subgroup coverage and sharpness, and treat abstention as an explicit operational outcome.
- Abstract(参考訳): 工学における機械学習モデルは、信頼性のある不確実性定量化(UQ)が最も重要となる訓練条件を超えてしばしば使用される。
既存の回帰UQ法の比較は、分布のみのキャリブレーションを評価するランダムスプリットに依存している。
物理的に意味のあるシフト変数に沿って構築された3輪シフトラグ(分布,ソフトシフト,ハードシフト)を導入し,5つの外挿設定,未確認のターボファン故障モード,冬季の空気質センサ配置という,7つの公開エンジニアリングデータセット上の5つのファミリーからの12の手法を評価した。
すべてのチューニングはソースデータのみを使用する。
分布において、共形法は各データセットの少なくとも0.946のテストポイントをカバーする。
ハードシフトでは、平均カバレッジは常に間隔を返す11のメソッドで0.40-0.75に減少し、メソッドランクの体系的な違いは検出されない(Friedman p = 0.63)。
重み付き共形量子レグレッションは、答える点では名目上は残るが、平均で85 %のハードシフト点を吸収し、答える数少ないコンクリート点の0.67しかカバーしていない。
ソースバリデーションは、分布の改善とソフトシフトの下で予測されるが、ハードシフト(スピアマンのrho = 0.04)にはならない。
エンジニアリング評価は、配置単位によるキャリブレーションデータを分割し、サブグループのカバレッジとシャープさを報告し、禁忌を明示的な運用結果として扱うべきである。
関連論文リスト
- SimplexUQ: An Evaluation Framework and Benchmark for Conformal Uncertainty on Simplex-Valued Predictions [0.272536728022984]
等角予測は限界範囲のカバレッジを保証するが、単一のキャリブレーションしきい値がまだその範囲を均一に広げることができる。
SimplexUQは、単純なx値の予測に基づいてこの割り当て問題を計測するための最初のベンチマークおよび再現可能なプロトコルである。
各比較は、予測器、スコア、応答自由成層マップを修正し、ラッパーのみを変更し、限界被覆、最悪の層被覆、最大差、およびタスク内半径と計算を報告する。
論文 参考訳(メタデータ) (2026-09-30T18:12:26Z) - An Exploratory Replica-Overlap Probe of the Grokking Transition [0.0]
4つの構成で64の独立したシードネットワークをトレーニングしました。
我々は、RSBにインスパイアされた対の重みの分布が、グルーキング遷移において重なり合うかどうかを問う。
論文 参考訳(メタデータ) (2026-09-22T03:44:55Z) - Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。
報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。
textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
論文 参考訳(メタデータ) (2026-08-06T14:55:42Z) - A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning [10.891872788947298]
局所CRPS分散は単列推定誤差の直接信号を提供する。
パワーロー適合品質と単調性は、トラジェクトリ正則性のコンパクトなメソッドレベルの要約を提供する。
論文 参考訳(メタデータ) (2026-04-25T02:52:33Z) - Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
勾配だけでヘッセンが明らかになることを示す。
我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
論文 参考訳(メタデータ) (2026-01-26T14:50:16Z) - Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。
本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。
提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
論文 参考訳(メタデータ) (2025-09-16T17:16:01Z) - Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。
柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。
本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
論文 参考訳(メタデータ) (2025-02-11T13:57:30Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳(メタデータ) (2021-10-12T17:21:41Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。