論文の概要: Improving Uncertainty Quantification of Variance Networks by Tree-Structured Learning

• arxiv url: http://arxiv.org/abs/2212.12658v1
• Date: Sat, 24 Dec 2022 05:25:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:48:17.281334
• Title: Improving Uncertainty Quantification of Variance Networks by Tree-Structured Learning
• Title（参考訳）: 木構造学習による変数ネットワークの不確かさの定量化
• Authors: Wenxuan Ma and Xing Yan
• Abstract要約: 本研究では,不確実性に基づいて特徴空間を複数の領域に分割する木構造局所ニューラルネットワークモデルを提案する。 提案したUncertainty-Splitting Neural Regression Tree (USNRT)は、新しいスプリッティング基準を採用している。 USNRTは、バニラ分散ネットワーク、ディープアンサンブル、ドロップアウトベースの方法、ツリーベースモデルなど、最近の一般的な分散予測手法と比較して、優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 5.585873977316113
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To improve uncertainty quantification of variance networks, we propose a novel tree-structured local neural network model that partitions the feature space into multiple regions based on uncertainty heterogeneity. A tree is built upon giving the training data, whose leaf nodes represent different regions where region-specific neural networks are trained to predict both the mean and the variance for quantifying uncertainty. The proposed Uncertainty-Splitting Neural Regression Tree (USNRT) employs novel splitting criteria. At each node, a neural network is trained on the full data first, and a statistical test for the residuals is conducted to find the best split, corresponding to the two sub-regions with the most significant uncertainty heterogeneity. USNRT is computationally friendly because very few leaf nodes are sufficient and pruning is unnecessary. On extensive UCI datasets, in terms of both calibration and sharpness, USNRT shows superior performance compared to some recent popular methods for variance prediction, including vanilla variance network, deep ensemble, dropout-based methods, tree-based models, etc. Through comprehensive visualization and analysis, we uncover how USNRT works and show its merits.
• Abstract（参考訳）: 分散ネットワークの不確かさを定量化するために,不確実性に基づく特徴空間を複数の領域に分割する新しい木構造局所ニューラルネットワークモデルを提案する。 葉ノードは、地域固有のニューラルネットワークをトレーニングして、不確実性を定量化するための平均と分散の両方を予測する、異なる領域を表す。 提案したUncertainty-Splitting Neural Regression Tree (USNRT)は、新しいスプリッティング基準を採用している。 各ノードにおいて、ニューラルネットワークをまず完全なデータに基づいてトレーニングし、最も顕著な不均一性を持つ2つのサブリージョンに対応する、最良の分割を見つけるために残差の統計的テストを行う。 USNRTは、葉ノードが十分であり、刈り取りは不要であるため、計算に親しみやすい。 uciデータセットのキャリブレーションとシャープネスの両面で、usnrtは、バニラ分散ネットワーク、ディープアンサンブル、ドロップアウトベースのメソッド、ツリーベースモデルなど、最近の一般的な分散予測方法と比べて優れたパフォーマンスを示している。 包括的な可視化と分析を通じて、usnrtの動作方法を明らかにし、そのメリットを示す。

関連論文リスト

• Reliable uncertainty with cheaper neural network ensembles: a case study in industrial parts classification [1.104960878651584]
  オペレーションリサーチ(OR)では、予測モデルはしばしばアウト・オブ・ディストリビューション(OOD)のシナリオに遭遇する。 複数の独立したNNで構成されるディープアンサンブルは、有望なアプローチとして現れている。 本研究は,1つのNNと1つのディープアンサンブル,および3つの効率的なNNアンサンブルを総合的に比較した最初のものである。
  論文  参考訳（メタデータ） (2024-03-15T10:38:48Z)
• CreINNs: Credal-Set Interval Neural Networks for Uncertainty Estimation in Classification Tasks [5.19656787424626]
  不確実性推定は、ニューラルネットワークの信頼性を向上させるためにますます魅力的なものになっている。 分類タスク用に設計された新しいクレーダセットインターバルニューラルネットワーク(CreINN)を提案する。
  論文  参考訳（メタデータ） (2024-01-10T10:04:49Z)
• Be Bayesian by Attachments to Catch More Uncertainty [27.047781689062944]
  本稿では,アタッチド構造を持つ新しいベイズニューラルネットワークを提案し,アウト・オブ・ディストリビューション(OOD)データからより不確実性を求める。 ABNNは期待モジュールといくつかの配布モジュールで構成されている。
  論文  参考訳（メタデータ） (2023-10-19T07:28:39Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。