論文の概要: A Statistical-Modelling Approach to Feedforward Neural Network Model Selection

• arxiv url: http://arxiv.org/abs/2207.04248v5
• Date: Wed, 1 May 2024 13:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 20:57:20.496396
• Title: A Statistical-Modelling Approach to Feedforward Neural Network Model Selection
• Title（参考訳）: フィードフォワードニューラルネットワークモデル選択のための統計的モデリング手法
• Authors: Andrew McInerney, Kevin Burke,
• Abstract要約: フィードフォワードニューラルネットワーク(FNN)は非線形回帰モデルと見なすことができる。 FNNのためのベイズ情報基準(BIC)を用いて,新しいモデル選択法を提案する。 サンプル外性能よりもBICを選択することは、真のモデルを回復する確率を増大させる。
• 参考スコア（独自算出の注目度）: 0.8287206589886881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feedforward neural networks (FNNs) can be viewed as non-linear regression models, where covariates enter the model through a combination of weighted summations and non-linear functions. Although these models have some similarities to the approaches used within statistical modelling, the majority of neural network research has been conducted outside of the field of statistics. This has resulted in a lack of statistically-based methodology, and, in particular, there has been little emphasis on model parsimony. Determining the input layer structure is analogous to variable selection, while the structure for the hidden layer relates to model complexity. In practice, neural network model selection is often carried out by comparing models using out-of-sample performance. However, in contrast, the construction of an associated likelihood function opens the door to information-criteria-based variable and architecture selection. A novel model selection method, which performs both input- and hidden-node selection, is proposed using the Bayesian information criterion (BIC) for FNNs. The choice of BIC over out-of-sample performance as the model selection objective function leads to an increased probability of recovering the true model, while parsimoniously achieving favourable out-of-sample performance. Simulation studies are used to evaluate and justify the proposed method, and applications on real data are investigated.
• Abstract（参考訳）: フィードフォワードニューラルネットワーク(FNN)は、重み付け和と非線形関数の組み合わせによって共変体がモデルに入る非線形回帰モデルと見なすことができる。 これらのモデルは統計モデリングで使用されるアプローチといくつかの類似性があるが、ほとんどのニューラルネットワーク研究は統計学以外の分野で行われている。 この結果、統計に基づく方法論が欠如しており、特にモデルパーシモニーにはほとんど重点を置いていない。 入力層構造の決定は変数選択と類似し、隠された層の構造はモデルの複雑さに関連する。 実際に、ニューラルネットワークモデルの選択は、アウトオブサンプルのパフォーマンスを使用してモデルを比較することで行われることが多い。 しかし、それとは対照的に、関連する可能性関数の構築は、情報基準に基づく変数とアーキテクチャの選択への扉を開く。 入力ノード選択と隠れノード選択の両方を行う新しいモデル選択法を,FNNのためのベイズ情報基準(BIC)を用いて提案する。 モデル選択目的関数として、サンプル外性能よりもBICを選択することは、サンプル外性能を最適に達成しつつ、真のモデルを回復する確率を増大させる。 シミュレーション研究を用いて提案手法の評価と正当化を行い,実データへの適用について検討した。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• A Priori Uncertainty Quantification of Reacting Turbulence Closure Models using Bayesian Neural Networks [0.0]
  反応流モデルにおける不確実性を捉えるためにベイズニューラルネットワークを用いる。 我々は、BNNモデルが、データ駆動クロージャモデルの不確実性の構造に関するユニークな洞察を提供することができることを示した。 このモデルの有効性は,様々な火炎条件と燃料からなるデータセットに対する事前評価によって実証される。
  論文  参考訳（メタデータ） (2024-02-28T22:19:55Z)
• Online simulator-based experimental design for cognitive model selection [74.76661199843284]
  本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。 シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
  論文  参考訳（メタデータ） (2023-03-03T21:41:01Z)
• Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification [0.0]
  我々は、データのスムーズさを保ちながら不変な新しいタイプのニューラルネットワークを導入する:関数型ニューラルネットワーク(FNN) そこで我々は,多層パーセプトロンと畳み込みニューラルネットワークを機能データに拡張するために,機能データ分析(FDA)の手法を用いる。 脳波(EEG)データの分類にFNNをうまく利用し,FDAのベンチマークモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-14T09:41:21Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Meta-Model Structure Selection: Building Polynomial NARX Model for Regression and Classification [0.0]
  本研究は、回帰と分類問題に対するNARXモデルの構造を選択するための新しいメタヒューリスティックなアプローチを提案する。 新しいアルゴリズムのロバスト性は、異なる非線形特性を持つ複数のシミュレートされた実験システムで試験される。
  論文  参考訳（メタデータ） (2021-09-21T02:05:40Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• On Statistical Efficiency in Learning [37.08000833961712]
  モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。 モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。 実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
  論文  参考訳（メタデータ） (2020-12-24T16:08:29Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。