論文の概要: Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction

• arxiv url: http://arxiv.org/abs/2309.00781v1
• Date: Sat, 2 Sep 2023 01:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 01:16:52.974683
• Title: Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction
• Title（参考訳）: 構造的ラジアル基底関数ネットワーク:多重仮説予測のための多様性のモデル化
• Authors: Alejandro Rodriguez Dominguez, Muhammad Shahzad and Xia Hong
• Abstract要約: 多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
• 参考スコア（独自算出の注目度）: 51.82628081279621
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-modal regression is important in forecasting nonstationary processes or with a complex mixture of distributions. It can be tackled with multiple hypotheses frameworks but with the difficulty of combining them efficiently in a learning model. A Structured Radial Basis Function Network is presented as an ensemble of multiple hypotheses predictors for regression problems. The predictors are regression models of any type that can form centroidal Voronoi tessellations which are a function of their losses during training. It is proved that this structured model can efficiently interpolate this tessellation and approximate the multiple hypotheses target distribution and is equivalent to interpolating the meta-loss of the predictors, the loss being a zero set of the interpolation error. This model has a fixed-point iteration algorithm between the predictors and the centers of the basis functions. Diversity in learning can be controlled parametrically by truncating the tessellation formation with the losses of individual predictors. A closed-form solution with least-squares is presented, which to the authors knowledge, is the fastest solution in the literature for multiple hypotheses and structured predictions. Superior generalization performance and computational efficiency is achieved using only two-layer neural networks as predictors controlling diversity as a key component of success. A gradient-descent approach is introduced which is loss-agnostic regarding the predictors. The expected value for the loss of the structured model with Gaussian basis functions is computed, finding that correlation between predictors is not an appropriate tool for diversification. The experiments show outperformance with respect to the top competitors in the literature.
• Abstract（参考訳）: マルチモーダル回帰は非定常過程の予測や複雑な分布の混合において重要である。 複数の仮説フレームワークで取り組むことができるが、学習モデルでそれらを効率的に組み合わせることが困難である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 予測子は、トレーニング中の損失の関数である中心渦テセレーションを形成することができる任意のタイプの回帰モデルである。 この構造モデルにより, このテッセレーションを効率的に補間し, 複数仮説の目標分布を近似できることが証明され, 補間誤差のゼロ集合である予測子のメタ損失を補間することと同値である。 このモデルは、予測器と基底関数の中心との間の固定点反復アルゴリズムを有する。 学習の多様性は、個々の予測器の損失とテッセレーション形成を切断することで、パラメトリックに制御できる。 著者の知識に対して最小二乗の閉形式解が提示され、複数の仮説と構造化予測の文献において最速の解である。 超一般化性能と計算効率は、二層ニューラルネットワークのみを用いて、多様性を成功の鍵となる要素として制御する予測器として達成される。 予測値に関して損失を無視する勾配-退化法が導入された。 ガウス基底関数による構造化モデルの損失に対する期待値は計算され、予測子間の相関が多様化のための適切なツールではないことが分かる。 実験は、文学界のトップコンペティターに対するパフォーマンスを示している。

関連論文リスト

• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• Zero-Shot Uncertainty Quantification using Diffusion Probabilistic Models [7.136205674624813]
  拡散モデルを用いて異なる回帰問題の解法におけるアンサンブル法の有効性を評価する。 本研究では,様々な回帰タスクにおいて,アンサンブル手法がモデル予測精度を一貫して向上することを実証する。 本研究は,拡散アンサンブルの有用性を包括的に把握し,回帰問題解決における拡散モデルを用いた実践者にとって有用な参考となる。
  論文  参考訳（メタデータ） (2024-08-08T18:34:52Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Model Compression for Dynamic Forecast Combination [9.281199058905017]
  動的予測アンサンブルを個々のモデルに圧縮すると、同様の予測性能が得られることを示す。 また,平均ランクが最も高い圧縮個々モデルは規則に基づく回帰モデルであることを示した。
  論文  参考訳（メタデータ） (2021-04-05T09:55:35Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• A comprehensive study on the prediction reliability of graph neural networks for virtual screening [0.0]
  本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。 その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-17T10:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。