論文の概要: Empirical Strategy for Stretching Probability Distribution in
Neural-network-based Regression
- arxiv url: http://arxiv.org/abs/2009.03534v1
- Date: Tue, 8 Sep 2020 06:08:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 20:28:24.568547
- Title: Empirical Strategy for Stretching Probability Distribution in
Neural-network-based Regression
- Title（参考訳）: ニューラルネットワークに基づく回帰におけるストレッチ確率分布の実証的戦略
- Authors: Eunho Koo and Hyungjun Kim
- Abstract要約: ニューラルネットワーク下での回帰解析では、予測性能は層間の適切な重み決定に依存する。
両分布の重み付け面積を増大させる新しい損失関数として重み付き経験的ストレッチ(WES)を提案する。
極端な領域に対するRMSEの改良結果は、非線形複雑系における異常事象の予測に利用されることが期待されている。
- 参考スコア（独自算出の注目度）: 5.35308390309106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In regression analysis under artificial neural networks, the prediction
performance depends on determining the appropriate weights between layers. As
randomly initialized weights are updated during back-propagation using the
gradient descent procedure under a given loss function, the loss function
structure can affect the performance significantly. In this study, we
considered the distribution error, i.e., the inconsistency of two distributions
(those of the predicted values and label), as the prediction error, and
proposed weighted empirical stretching (WES) as a novel loss function to
increase the overlap area of the two distributions. The function depends on the
distribution of a given label, thus, it is applicable to any distribution
shape. Moreover, it contains a scaling hyperparameter such that the appropriate
parameter value maximizes the common section of the two distributions. To test
the function capability, we generated ideal distributed curves (unimodal,
skewed unimodal, bimodal, and skewed bimodal) as the labels, and used the
Fourier-extracted input data from the curves under a feedforward neural
network. In general, WES outperformed loss functions in wide use, and the
performance was robust to the various noise levels. The improved results in
RMSE for the extreme domain (i.e., both tail regions of the distribution) are
expected to be utilized for prediction of abnormal events in non-linear complex
systems such as natural disaster and financial crisis.
- Abstract（参考訳）: ニューラルネットワーク下での回帰解析では、予測性能は層間の適切な重み決定に依存する。
乱初期化重みは、所定の損失関数の下で勾配降下手順を用いてバックプロパゲーション中に更新されるので、損失関数構造は性能に大きな影響を与える。
本研究では,2つの分布の矛盾,すなわち予測値とラベルの矛盾を予測誤差として検討し,2つの分布の重み付け面積を増大させる新しい損失関数として重み付き経験的ストレッチ(WES)を提案する。
この関数は与えられたラベルの分布に依存するので、任意の分布形状に適用できる。
さらに、スケーリングハイパーパラメータを含み、適切なパラメータ値は2つの分布の共通セクションを最大化する。
この機能をテストするために, 理想的な分散曲線 (unimodal, skewed unimodal, bimodal, skewed bimodal) をラベルとして生成し, フィードフォワードニューラルネットワークによる曲線からのフーリエ抽出入力データを用いた。
一般にwesは損失関数を広範囲に上回り,性能は様々な雑音レベルに対して頑健であった。
極端領域(分布の両尾領域)におけるRMSEの改善結果は、自然災害や金融危機などの非線形複雑系における異常事象の予測に利用されることが期待されている。
関連論文リスト
- Tukey g-and-h neural network regression for non-Gaussian data [0.0]
我々は、回帰フレームワークにおけるTukey g-and-h分布のパラメータを予測するためのニューラルネットワークのトレーニングを検討する。
予測分布とテストデータの間の適合度分析をいかに行うかを示す。
論文 参考訳（メタデータ） (2024-11-12T17:34:38Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。
古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
論文 参考訳（メタデータ） (2023-07-07T09:49:11Z) - Robust Gaussian Process Regression with Huber Likelihood [2.7184224088243365]
本稿では,ハマー確率分布として表される観測データの可能性を考慮した,ガウス過程フレームワークにおけるロバストなプロセスモデルを提案する。
提案モデルでは、予測統計に基づく重みを用いて、残差を拡大し、潜伏関数推定における垂直外れ値と悪レバレッジ点の影響を限定する。
論文 参考訳（メタデータ） (2023-01-19T02:59:33Z) - Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳（メタデータ） (2022-07-24T02:38:54Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Unifying supervised learning and VAEs -- coverage, systematics and
goodness-of-fit in normalizing-flow based neural network models for
astro-particle reconstructions [0.0]
統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。
データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。
本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
論文 参考訳（メタデータ） (2020-08-13T11:28:57Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。