論文の概要: Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks

• arxiv url: http://arxiv.org/abs/2306.05674v2
• Date: Fri, 10 Nov 2023 02:42:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 18:03:40.923533
• Title: Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks
• Title（参考訳）: 過パラメータニューラルネットワークの有効不確かさの定量化と低減
• Authors: Ziyi Huang, Henry Lam, Haofeng Zhang
• Abstract要約: 不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。 統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。 特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
• 参考スコア（独自算出の注目度）: 23.7125322065694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification (UQ) is important for reliability assessment and enhancement of machine learning models. In deep learning, uncertainties arise not only from data, but also from the training procedure that often injects substantial noises and biases. These hinder the attainment of statistical guarantees and, moreover, impose computational challenges on UQ due to the need for repeated network retraining. Building upon the recent neural tangent kernel theory, we create statistically guaranteed schemes to principally \emph{characterize}, and \emph{remove}, the uncertainty of over-parameterized neural networks with very low computation effort. In particular, our approach, based on what we call a procedural-noise-correcting (PNC) predictor, removes the procedural uncertainty by using only \emph{one} auxiliary network that is trained on a suitably labeled dataset, instead of many retrained networks employed in deep ensembles. Moreover, by combining our PNC predictor with suitable light-computation resampling methods, we build several approaches to construct asymptotically exact-coverage confidence intervals using as low as four trained networks without additional overheads.
• Abstract（参考訳）: 不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。 ディープラーニングでは、不確実性はデータだけでなく、重大なノイズやバイアスを注入する訓練手順からも生じる。 これにより、統計的保証の達成が妨げられ、また、繰り返しのネットワーク再トレーニングの必要性により、UQに計算上の課題が課される。 近年のニューラル・タンジェント・カーネル理論を基礎として,計算労力の少ないオーバーパラメータ化ニューラルネットワークの不確実性である,主に \emph{characterize} と \emph{remove} に対する統計的に保証されたスキームを作成する。 特に,提案手法はプロシージャノイズ補正(PNC)予測器(Procedural-noise-correcting, PNC)に基づいて,深層アンサンブルで使用される多くのリトレーニングネットワークではなく,適切なラベル付きデータセットでトレーニングされた 'emph{one} 補助ネットワークのみを用いることで,プロシージャの不確実性を除去する。 さらに,PNC予測器と適切な光計算再サンプリング手法を組み合わせることで,新たなオーバーヘッドを伴わない4つのトレーニングネットワークを用いて,漸近的に正確な被覆信頼区間を構築するためのいくつかのアプローチを構築した。

関連論文リスト

• Split-Boost Neural Networks [1.1549572298362787]
  本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。 このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。 提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
  論文  参考訳（メタデータ） (2023-09-06T17:08:57Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• A simple approach for quantizing neural networks [7.056222499095849]
  完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。 単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。 提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
  論文  参考訳（メタデータ） (2022-09-07T22:36:56Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
  本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。 クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。 従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
  論文  参考訳（メタデータ） (2020-07-03T02:00:35Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• Depth Uncertainty in Neural Networks [2.6763498831034043]
  ディープラーニングにおける不確実性を推定する既存の方法は、複数の前方パスを必要とする傾向がある。 フィードフォワードネットワークのシーケンシャルな構造を利用することで、トレーニング目標を評価し、単一のフォワードパスで予測を行うことができる。 実世界の回帰と画像分類タスクに対する我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2020-06-15T14:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。