論文の概要: Efficient Analytic Uncertainty Quantification for Multi-Modal Regression

• arxiv url: http://arxiv.org/abs/2606.25188v1
• Date: Tue, 23 Jun 2026 21:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.148462
• Title: Efficient Analytic Uncertainty Quantification for Multi-Modal Regression
• Title（参考訳）: 多モード回帰のための効率的な解析的不確実性定量化
• Authors: Kun Jin, James Harrison, Jiawei Li, Sihan Liu, Jiayi Liu, Randolph Linderman, Yuening Li, Arnab Bhadury, Sourabh Prakash Bansod, Liang Liu, Jasper Snoek,
• Abstract要約: 複雑な条件分布の正確な推定を同時に行う統一的分布に依存しないフレームワークを提案する。 我々のフレームワークは最先端のマルチモーダル回帰ベースラインより優れており、計算コストの高いアンサンブルモデルの予測性能とさえ一致している。
• 参考スコア（独自算出の注目度）: 26.64106355159076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient uncertainty quantification (UQ) is essential for trustworthy large-scale learning. Existing UQ methods for regression tasks mainly operate under the assumption that the conditional label marginal satisfies single-peak parametric models, e.g., Gaussians, where the negative log-likelihood function simplifies to the mean square error. However, such single-peak assumptions fail in regression tasks featuring multi-modal distributions. On the other hand, semi-parametric methods which achieve strong regression performance for multi-modal distributions often lack efficient quantification on their prediction variances. In this work, we extend UQ techniques based on Variational Bayesian Inference (VBI) to two widely used semi-parametric regression models that yield histogram-like reconstructions of the conditional label densities: Quantile Regression (QR) and Classification Restoration (CR). Our approach introduces a unified, distribution-agnostic framework that simultaneously achieves accurate estimation of complex conditional distributions and highly efficient UQ. Theoretically, our method is grounded in novel formulations of QR and CR within the VBI framework, yielding analytic Evidence Lower Bounds (ELBO) to streamline training and a closed-form or analytically approximated predictive density for efficient inference. Empirically, we evaluate our methods on three large-scale regression benchmarks with multi-modal label distributions. Our framework outperforms state-of-the-art multi-modal regression baselines, and even matches predictive performance of computationally expensive ensemble models. Furthermore, by leveraging epistemic uncertainty estimation, our approach enables highly data-efficient active learning strategies.
• Abstract（参考訳）: 信頼性の高い大規模学習には、効率的な不確実性定量化(UQ)が不可欠である。 回帰タスクの既存のUQ法は、条件ラベル境界が単一ピークパラメトリックモデル(例えばガウス)を満たすという仮定の下で主に機能し、負の対数類似関数は平均二乗誤差を単純化する。 しかし、そのような単一ピーク仮定は、多モーダル分布を特徴とする回帰タスクでは失敗する。 一方、マルチモーダル分布に対する強い回帰性能を実現する半パラメトリック法は、予測分散の効率的な定量化を欠いていることが多い。 本研究では,変分ベイズ推論(VBI)に基づくUQ手法を,条件付きラベル密度のヒストグラム的再構成(QR)と分類復元(CR)の2つの広く用いられている半パラメトリック回帰モデルに拡張する。 提案手法では,複雑な条件分布と高効率なUQの正確な推定を同時に行う,統一的分布に依存しないフレームワークを提案する。 理論的には,本手法はVBIフレームワーク内のQRおよびCRの新たな定式化に基礎を置いており,解析的エビデンス下界(ELBO)を合理化訓練に用い,効率的な推論のためのクローズドフォームあるいは解析的近似予測密度を導出する。 実験により,マルチモーダルなラベル分布を持つ3つの大規模回帰ベンチマークにおいて,提案手法の評価を行った。 我々のフレームワークは最先端のマルチモーダル回帰ベースラインより優れており、計算コストの高いアンサンブルモデルの予測性能とさえ一致している。 さらに, 疫学的不確実性推定を活用することで, 高いデータ効率の能動的学習戦略を実現する。

関連論文リスト

• Amortized Variational Inference for Logistic Regression with Missing Covariates [4.027766797152636]
  Amortized Variational Inference for Logistic Regression (AV-LR) は、バイナリロジスティック回帰のための統一されたエンドツーエンドフレームワークである。 AV-LRは、確率的生成モデルと単純な償却推論ネットワークを統合する。 計算コストを大幅に削減し、最先端のEMライクなアルゴリズムと同等かそれ以上の精度で推定できる。
  論文  参考訳（メタデータ） (2026-03-22T14:00:59Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction for Uncertainty Quantification [4.728311759896569]
  本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。 これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。 UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-26T11:45:32Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。