論文の概要: Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction
- arxiv url: http://arxiv.org/abs/2309.00781v1
- Date: Sat, 2 Sep 2023 01:27:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 01:16:52.974683
- Title: Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction
- Title(参考訳): 構造的ラジアル基底関数ネットワーク:多重仮説予測のための多様性のモデル化
- Authors: Alejandro Rodriguez Dominguez, Muhammad Shahzad and Xia Hong
- Abstract要約: 多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
- 参考スコア(独自算出の注目度): 51.82628081279621
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-modal regression is important in forecasting nonstationary processes or
with a complex mixture of distributions. It can be tackled with multiple
hypotheses frameworks but with the difficulty of combining them efficiently in
a learning model. A Structured Radial Basis Function Network is presented as an
ensemble of multiple hypotheses predictors for regression problems. The
predictors are regression models of any type that can form centroidal Voronoi
tessellations which are a function of their losses during training. It is
proved that this structured model can efficiently interpolate this tessellation
and approximate the multiple hypotheses target distribution and is equivalent
to interpolating the meta-loss of the predictors, the loss being a zero set of
the interpolation error. This model has a fixed-point iteration algorithm
between the predictors and the centers of the basis functions. Diversity in
learning can be controlled parametrically by truncating the tessellation
formation with the losses of individual predictors. A closed-form solution with
least-squares is presented, which to the authors knowledge, is the fastest
solution in the literature for multiple hypotheses and structured predictions.
Superior generalization performance and computational efficiency is achieved
using only two-layer neural networks as predictors controlling diversity as a
key component of success. A gradient-descent approach is introduced which is
loss-agnostic regarding the predictors. The expected value for the loss of the
structured model with Gaussian basis functions is computed, finding that
correlation between predictors is not an appropriate tool for diversification.
The experiments show outperformance with respect to the top competitors in the
literature.
- Abstract(参考訳): マルチモーダル回帰は非定常過程の予測や複雑な分布の混合において重要である。
複数の仮説フレームワークで取り組むことができるが、学習モデルでそれらを効率的に組み合わせることが困難である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
予測子は、トレーニング中の損失の関数である中心渦テセレーションを形成することができる任意のタイプの回帰モデルである。
この構造モデルにより, このテッセレーションを効率的に補間し, 複数仮説の目標分布を近似できることが証明され, 補間誤差のゼロ集合である予測子のメタ損失を補間することと同値である。
このモデルは、予測器と基底関数の中心との間の固定点反復アルゴリズムを有する。
学習の多様性は、個々の予測器の損失とテッセレーション形成を切断することで、パラメトリックに制御できる。
著者の知識に対して最小二乗の閉形式解が提示され、複数の仮説と構造化予測の文献において最速の解である。
超一般化性能と計算効率は、二層ニューラルネットワークのみを用いて、多様性を成功の鍵となる要素として制御する予測器として達成される。
予測値に関して損失を無視する勾配-退化法が導入された。
ガウス基底関数による構造化モデルの損失に対する期待値は計算され、予測子間の相関が多様化のための適切なツールではないことが分かる。
実験は、文学界のトップコンペティターに対するパフォーマンスを示している。
関連論文リスト
- Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Function-Space Regularization for Deep Bayesian Classification [33.63495888167032]
予測空間にディリクレを前もって適用し、近似関数空間変分推論を行う。
推論を適用することで、モデルアーキテクチャやサイズに影響を与えることなく、同じ関数空間を異なるモデルと組み合わせることができる。
論文 参考訳(メタデータ) (2023-07-12T10:17:54Z) - How to Combine Variational Bayesian Networks in Federated Learning [0.0]
フェデレートラーニングにより、複数のデータセンターが機密データを公開することなく、協力的に中央モデルをトレーニングできる。
決定論的モデルは高い予測精度を達成することができ、キャリブレーションの欠如と不確実性を定量化する能力は、安全クリティカルなアプリケーションには問題となる。
変分ベイズニューラルネットワークに対する様々なアグリゲーションスキームの効果について検討する。
論文 参考訳(メタデータ) (2022-06-22T07:53:12Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳(メタデータ) (2022-02-10T18:51:52Z) - Model Compression for Dynamic Forecast Combination [9.281199058905017]
動的予測アンサンブルを個々のモデルに圧縮すると、同様の予測性能が得られることを示す。
また,平均ランクが最も高い圧縮個々モデルは規則に基づく回帰モデルであることを示した。
論文 参考訳(メタデータ) (2021-04-05T09:55:35Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳(メタデータ) (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。