論文の概要: Confidence-Nets: A Step Towards better Prediction Intervals for
regression Neural Networks on small datasets
- arxiv url: http://arxiv.org/abs/2210.17092v1
- Date: Mon, 31 Oct 2022 06:38:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 15:38:27.911450
- Title: Confidence-Nets: A Step Towards better Prediction Intervals for
regression Neural Networks on small datasets
- Title（参考訳）: 信頼ネットワーク: 小さなデータセット上の回帰ニューラルネットワークの予測間隔の改善に向けて
- Authors: Mohamedelmujtaba Altayeb, Abdelrahman M. Elamin, Hozaifa Ahmed, Eithar
Elfatih Elfadil Ibrahim, Omer Haydar, Saba Abdulaziz, Najlaa H. M. Mohamed
- Abstract要約: そこで本研究では,予測の不確かさを推定し,精度を向上し,予測変動の間隔を与えるアンサンブル手法を提案する。
提案手法は様々なデータセットで検証され,ニューラルネットワークモデルの性能が大幅に向上した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent decade has seen an enormous rise in the popularity of deep
learning and neural networks. These algorithms have broken many previous
records and achieved remarkable results. Their outstanding performance has
significantly sped up the progress of AI, and so far various milestones have
been achieved earlier than expected. However, in the case of relatively small
datasets, the performance of Deep Neural Networks (DNN) may suffer from reduced
accuracy compared to other Machine Learning models. Furthermore, it is
difficult to construct prediction intervals or evaluate the uncertainty of
predictions when dealing with regression tasks. In this paper, we propose an
ensemble method that attempts to estimate the uncertainty of predictions,
increase their accuracy and provide an interval for the expected variation.
Compared with traditional DNNs that only provide a prediction, our proposed
method can output a prediction interval by combining DNNs, extreme gradient
boosting (XGBoost) and dissimilarity computation techniques. Albeit the simple
design, this approach significantly increases accuracy on small datasets and
does not introduce much complexity to the architecture of the neural network.
The proposed method is tested on various datasets, and a significant
improvement in the performance of the neural network model is seen. The model's
prediction interval can include the ground truth value at an average rate of
71% and 78% across training sizes of 90% and 55%, respectively. Finally, we
highlight other aspects and applications of the approach in experimental error
estimation, and the application of transfer learning.
- Abstract（参考訳）: 最近の10年で、ディープラーニングとニューラルネットワークの人気が大幅に上昇した。
これらのアルゴリズムは多くの過去の記録を破り、驚くべき結果を得た。
彼らの卓越したパフォーマンスはaiの進歩を大幅に加速させ、これまでのところ様々なマイルストーンが予想よりも早く達成されている。
しかし、比較的小さなデータセットの場合、Deep Neural Networks(DNN)の性能は他の機械学習モデルと比較して精度が低下する可能性がある。
さらに、回帰タスクを扱う場合、予測間隔を構築したり、予測の不確実性を評価することは困難である。
本稿では,予測の不確かさを推定し,その精度を高め,予測変動の間隔を与えるアンサンブル手法を提案する。
予測のみを提供する従来のDNNと比較して,提案手法は,DNN,極勾配向上(XGBoost),異性性計算技術を組み合わせて予測区間を出力することができる。
単純な設計であるにもかかわらず、このアプローチは小さなデータセットの精度を大幅に向上し、ニューラルネットワークのアーキテクチャに多くの複雑さをもたらすことはない。
提案手法は,様々なデータセット上でテストされ,ニューラルネットワークモデルの性能が大幅に向上した。
このモデルの予測間隔は、それぞれ90%と55%のトレーニングサイズにおいて、平均速度71%と78%の基底真理値を含むことができる。
最後に,実験誤差推定におけるアプローチの他の側面と応用,および転送学習の適用について述べる。
関連論文リスト
- An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。
本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。
本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
論文 参考訳（メタデータ） (2024-10-24T18:15:48Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳（メタデータ） (2023-09-06T14:02:33Z) - Uncertainty Quantification over Graph with Conformalized Graph Neural
Networks [52.20904874696597]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに基づく強力な機械学習予測モデルである。
GNNには厳密な不確実性見積が欠如しており、エラーのコストが重要な設定での信頼性の高いデプロイメントが制限されている。
本稿では,共形予測(CP)をグラフベースモデルに拡張した共形GNN(CF-GNN)を提案する。
論文 参考訳（メタデータ） (2023-05-23T21:38:23Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳（メタデータ） (2023-04-20T07:29:23Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Probabilistic AutoRegressive Neural Networks for Accurate Long-range
Forecasting [6.295157260756792]
確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。
PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。
本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
論文 参考訳（メタデータ） (2022-04-01T17:57:36Z) - Uncertainty-Aware Time-to-Event Prediction using Deep Kernel Accelerated
Failure Time Models [11.171712535005357]
本稿では,時間-時間予測タスクのためのDeep Kernel Accelerated Failure Timeモデルを提案する。
我々のモデルは、2つの実世界のデータセットの実験において、繰り返しニューラルネットワークに基づくベースラインよりも良い点推定性能を示す。
論文 参考訳（メタデータ） (2021-07-26T14:55:02Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Accuracy of neural networks for the simulation of chaotic dynamics:
precision of training data vs precision of the algorithm [0.0]
時系列に適応した3つの異なるニューラルネットワーク技術を用いて,異なる精度でLorenzシステムをシミュレートする。
その結果,ESNネットワークはシステムのダイナミクスを正確に予測する上で優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-08T17:25:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。