論文の概要: Rethinking Approximate Gaussian Inference in Classification

• arxiv url: http://arxiv.org/abs/2502.03366v1
• Date: Wed, 05 Feb 2025 17:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:48.193480
• Title: Rethinking Approximate Gaussian Inference in Classification
• Title（参考訳）: 分類における近似ガウス推論の再考
• Authors: Bálint Mucsányi, Nathaël Da Costa, Philipp Hennig,
• Abstract要約: 分類タスクでは、ソフトマックス関数は予測確率を生成するためにユビキタスに使用される。 本稿では,予測の正確な計算を可能にする学習目的の簡単な変更を提案する。 提案手法は,大規模および小規模データセットに対するガウス推定法と組み合わせて評価する。
• 参考スコア（独自算出の注目度）: 25.021782278452005
• License:
• Abstract: In classification tasks, softmax functions are ubiquitously used as output activations to produce predictive probabilities. Such outputs only capture aleatoric uncertainty. To capture epistemic uncertainty, approximate Gaussian inference methods have been proposed, which output Gaussian distributions over the logit space. Predictives are then obtained as the expectations of the Gaussian distributions pushed forward through the softmax. However, such softmax Gaussian integrals cannot be solved analytically, and Monte Carlo (MC) approximations can be costly and noisy. We propose a simple change in the learning objective which allows the exact computation of predictives and enjoys improved training dynamics, with no runtime or memory overhead. This framework is compatible with a family of output activation functions that includes the softmax, as well as element-wise normCDF and sigmoid. Moreover, it allows for approximating the Gaussian pushforwards with Dirichlet distributions by analytic moment matching. We evaluate our approach combined with several approximate Gaussian inference methods (Laplace, HET, SNGP) on large- and small-scale datasets (ImageNet, CIFAR-10), demonstrating improved uncertainty quantification capabilities compared to softmax MC sampling. Code is available at https://github.com/bmucsanyi/probit.
• Abstract（参考訳）: 分類タスクでは、ソフトマックス関数は予測確率を生成するために出力活性化としてユビキタスに使用される。 このような出力はアレタリックな不確実性しか捉えない。 疫学的な不確実性を捉えるため,ロジット空間上のガウス分布を出力する近似ガウス推定法が提案されている。 予測値は、ソフトマックスを通って前進するガウス分布の期待値として得られる。 しかし、そのようなソフトマックスガウス積分は解析的には解けず、モンテカルロ近似(MC)は費用がかかりうる。 本稿では,予測の正確な計算を可能とし,実行時やメモリオーバーヘッドを伴わずにトレーニングダイナミクスの改善を享受する学習目的の簡単な変更を提案する。 このフレームワークは、ソフトマックスを含む出力活性化関数のファミリーや、要素ワイドの標準CDFやシグモイドと互換性がある。 さらに、解析モーメントマッチングにより、ガウスのプッシュフォワードをディリクレ分布と近似することができる。 我々は,大規模・小規模データセット(ImageNet, CIFAR-10)のガウス推定手法(Laplace, HET, SNGP)と組み合わせて,ソフトマックスMCサンプリングと比較して不確実性定量化能力の向上を実証した。 コードはhttps://github.com/bmucsanyi/probit.comで入手できる。

関連論文リスト

• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• Likelihood approximations via Gaussian approximate inference [3.4991031406102238]
  ガウス密度による非ガウス確率の影響を近似する効率的なスキームを提案する。 その結果,大規模な点推定および分布推定設定における二進分類と多進分類の近似精度が向上した。 副産物として,提案した近似ログ類似度は,ニューラルネットワーク分類のためのラベルの最小二乗よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-28T05:39:26Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Robust Bayesian Target Value Optimization [6.606745253604263]
  我々は,ブラックボックス関数の出力が期待される2乗誤差の意味で,目標値に可能な限り近いようなブラックボックス関数への入力を求める問題を考察する。 我々は、期待される改善、改善の確率、低い信頼境界といった共通の基準に対して、アレター効果が既知の分散を持つガウス的であることを仮定して、取得関数を導出する。
  論文  参考訳（メタデータ） (2023-01-11T07:44:59Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Sparse Gaussian Process Hyperparameters: Optimize or Integrate? [5.949779668853556]
  本稿では, MCMC をハイパーパラメーター後部から試料として用いたスパースガウス過程回帰法を提案する。 本稿では,文学における自然ベースラインと変分GP(SVGP)とを,広範な計算解析とともに比較する。
  論文  参考訳（メタデータ） (2022-11-04T14:06:59Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。