論文の概要: On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2001.08049v1
• Date: Wed, 22 Jan 2020 15:08:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 18:04:28.675061
• Title: On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation
• Title（参考訳）: 分類のための最終階層アルゴリズムについて:不確かさ推定からの表現の分離
• Authors: Nicolas Brosse, Carlos Riquelme, Alice Martin, Sylvain Gelly, \'Eric Moulines
• Abstract要約: 本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。 選択的分類(リスクカバレッジ)および分布外サンプルの検出能力の観点から,それらの性能を評価する。
• 参考スコア（独自算出の注目度）: 27.077741143188867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification for deep learning is a challenging open problem. Bayesian statistics offer a mathematically grounded framework to reason about uncertainties; however, approximate posteriors for modern neural networks still require prohibitive computational costs. We propose a family of algorithms which split the classification task into two stages: representation learning and uncertainty estimation. We compare four specific instances, where uncertainty estimation is performed via either an ensemble of Stochastic Gradient Descent or Stochastic Gradient Langevin Dynamics snapshots, an ensemble of bootstrapped logistic regressions, or via a number of Monte Carlo Dropout passes. We evaluate their performance in terms of \emph{selective} classification (risk-coverage), and their ability to detect out-of-distribution samples. Our experiments suggest there is limited value in adding multiple uncertainty layers to deep classifiers, and we observe that these simple methods strongly outperform a vanilla point-estimate SGD in some complex benchmarks like ImageNet.
• Abstract（参考訳）: ディープラーニングにおける不確実性定量化は、難しいオープン問題である。 ベイズ統計学は不確かさを推論するために数学的に基礎づけられた枠組みを提供するが、現代のニューラルネットワークの近似的な後方は依然として計算コストを必要とする。 本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。 我々は,Stochastic Gradient DescentとStochastic Gradient Langevin Dynamicsのスナップショットのアンサンブル,ブートストラップされたロジスティック回帰のアンサンブル,あるいはモンテカルロ・ドロップアウトのパスによる不確実性推定を行う4つの事例を比較した。 我々は,その性能を<emph{selective}分類 (risk-coverage) と分布外サンプルの検出能力の観点から評価した。 実験の結果,複数の不確実性層を深層分類器に付加することには限界があることが明らかとなり,これらの単純な手法がImageNetのような複雑なベンチマークにおいて,バニラ点推定SGDを強く上回っていることがわかった。

関連論文リスト

• Post-hoc Probabilistic Vision-Language Models [51.12284891724463]
  視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。 追加トレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。 この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-12-08T18:16:13Z)
• Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential Reinforcement Learning [1.7898305876314982]
  提案アルゴリズムは,共形推論の原理に基づいて,深い明解学習と量子キャリブレーションを組み合わせる。 ミニチュア化されたアタリゲームスイート(MinAtar)でテストされる。
  論文  参考訳（メタデータ） (2024-02-11T05:17:56Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
  本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。 本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-07-14T12:50:09Z)
• What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization [68.15353480798244]
  不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-11T19:47:00Z)
• Sample Complexity of Nonparametric Off-Policy Evaluation on Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
  深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。 ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
  論文  参考訳（メタデータ） (2022-06-06T20:25:20Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Expectation propagation on the diluted Bayesian classifier [0.0]
  本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。 予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。 EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
  論文  参考訳（メタデータ） (2020-09-20T23:59:44Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Fine-grained Uncertainty Modeling in Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける分布外点検出のための新しい手法を提案する。 我々の手法は、NNの過度な判断を正し、外れ点を検知し、上位2つの予測の間で重要な点が不確実であるときに「私は知らない」と言うことを学習する。 副作用として, 本手法は, 追加訓練を必要とせず, 敵の攻撃を防ぐのに有効である。
  論文  参考訳（メタデータ） (2020-02-11T05:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。