論文の概要: Random-Set Neural Networks (RS-NN)

• arxiv url: http://arxiv.org/abs/2307.05772v4
• Date: Tue, 28 Jan 2025 13:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:39:43.020559
• Title: Random-Set Neural Networks (RS-NN)
• Title（参考訳）: ランダムセットニューラルネットワーク(RS-NN)
• Authors: Shireen Kudukkil Manchingal, Muhammad Mubashar, Kaizheng Wang, Keivan Shariatmadar, Fabio Cuzzolin,
• Abstract要約: 本稿では,新しいランダムセットニューラルネットワーク(RS-NN)による分類手法を提案する。 RS-NNは、不十分に代表される訓練セットによって引き起こされる「緊急」不確実性を符号化する。 提案手法は,精度,不確実性推定,アウト・オブ・ディストリビューション(OoD)検出において,最先端のベイズ法およびアンサンブル法より優れる。
• 参考スコア（独自算出の注目度）: 4.549947259731147
• License:
• Abstract: Machine learning is increasingly deployed in safety-critical domains where erroneous predictions may lead to potentially catastrophic consequences, highlighting the need for learning systems to be aware of how confident they are in their own predictions: in other words, 'to know when they do not know'. In this paper, we propose a novel Random-Set Neural Network (RS-NN) approach to classification which predicts belief functions (rather than classical probability vectors) over the class list using the mathematics of random sets, i.e., distributions over the collection of sets of classes. RS-NN encodes the 'epistemic' uncertainty induced by training sets that are insufficiently representative or limited in size via the size of the convex set of probability vectors associated with a predicted belief function. Our approach outperforms state-of-the-art Bayesian and Ensemble methods in terms of accuracy, uncertainty estimation and out-of-distribution (OoD) detection on multiple benchmarks (CIFAR-10 vs SVHN/Intel-Image, MNIST vs FMNIST/KMNIST, ImageNet vs ImageNet-O). RS-NN also scales up effectively to large-scale architectures (e.g. WideResNet-28-10, VGG16, Inception V3, EfficientNetB2 and ViT-Base-16), exhibits remarkable robustness to adversarial attacks and can provide statistical guarantees in a conformal learning setting.
• Abstract（参考訳）: 機械学習は、誤った予測が破滅的な結果をもたらす可能性がある、安全クリティカルな領域にますます展開されている。 本稿では,クラス集合の集合上の分布というランダム集合の数学を用いて,クラスリスト上の信念関数(古典的確率ベクトルではなく)を予測できる新しいランダムセットニューラルネットワーク(RS-NN)を提案する。 RS-NNは、予測された信念関数に関連する確率ベクトルの凸集合のサイズによって、十分に代表的であるか制限されている訓練セットによって引き起こされる「緊急」不確実性を符号化する。 提案手法は,複数のベンチマーク(CIFAR-10対SVHN/Intel-Image,MNIST vs FMNIST/KMNIST, ImageNet vs ImageNet-O)において,精度,不確実性評価,アウト・オブ・ディストリビューション(OoD)の検出において,最先端ベイズ法およびアンサンブル法より優れている。 RS-NNは大規模アーキテクチャ(例えば WideResNet-28-10, VGG16, Inception V3, EfficientNetB2, ViT-Base-16)にも効果的にスケールアップし、敵攻撃に対する顕著な堅牢性を示し、共形学習環境で統計的保証を提供する。

関連論文リスト

• Enhancing Trustworthiness of Graph Neural Networks with Rank-Based Conformal Training [17.120502204791407]
  等角予測は統計的に保証された不確実性推定を生成することができる。 本稿では,GNN(RCP-GNN)のトレーニングフレームワークにおけるランクベースのCPを提案し,信頼性の高い不確実性推定を行う。
  論文  参考訳（メタデータ） (2025-01-06T05:19:24Z)
• A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
  診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。 これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。 この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
  論文  参考訳（メタデータ） (2023-02-09T16:12:47Z)
• Robust-by-Design Classification via Unitary-Gradient Neural Networks [66.17379946402859]
  安全クリティカルシステムにおけるニューラルネットワークの使用には、敵攻撃が存在するため、安全で堅牢なモデルが必要である。 任意の入力 x の最小逆摂動を知るか、または同値に、分類境界から x の距離は、分類ロバスト性を評価し、証明可能な予測を与える。 Unitary-Gradient Neural Networkと呼ばれる新しいネットワークアーキテクチャが紹介される。 実験結果から,提案アーキテクチャは符号付き距離を近似し,単一の推論コストでxのオンライン分類が可能であることがわかった。
  論文  参考訳（メタデータ） (2022-09-09T13:34:51Z)
• $p$-DkNN: Out-of-Distribution Detection Through Statistical Testing of Deep Representations [32.99800144249333]
  我々は、訓練された深層ニューラルネットワークを使用し、その中間の隠蔽表現の類似構造を分析する新しい推論手順である$p$-DkNNを紹介した。 我々は、$p$-DkNNでアダプティブアタッカーが、最悪のOOD入力の形式である敵の例を作成して、入力に意味のある変更を導入する。
  論文  参考訳（メタデータ） (2022-07-25T21:42:08Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions [0.0]
  統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
  論文  参考訳（メタデータ） (2020-08-13T11:28:57Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。