論文の概要: Flexible, Non-parametric Modeling Using Regularized Neural Networks
- arxiv url: http://arxiv.org/abs/2012.11369v2
- Date: Tue, 2 Feb 2021 09:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 17:57:30.350910
- Title: Flexible, Non-parametric Modeling Using Regularized Neural Networks
- Title（参考訳）: 正規化ニューラルネットワークを用いたフレキシブル非パラメトリックモデリング
- Authors: Oskar Allerbo, Rebecka J\"ornsten
- Abstract要約: PrAda-netは、近位勾配降下と適応ラッソで訓練された1つの隠れ層ニューラルネットワークである。
ニューラルネットワークのサイズとアーキテクチャを自動的に調整して、基盤となるデータ生成モデルの構造をキャプチャする。
シミュレーションデータ上でprada-netを実演し,テストエラー性能,変数重要度,変数サブセット識別特性を比較した。
我々はまた、prada-netをイギリスの巨大なブラックスモークデータセットに適用し、prada-netをgamsの代替品として使う能力を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-parametric regression, such as generalized additive models (GAMs), is
able to capture complex data dependencies in a flexible, yet interpretable way.
However, choosing the format of the additive components often requires
non-trivial data exploration. Here, we propose an alternative to GAMs,
PrAda-net, which uses a one hidden layer neural network, trained with proximal
gradient descent and adaptive lasso. PrAda-net automatically adjusts the size
and architecture of the neural network to capture the complexity and structure
of the underlying data generative model. The compact network obtained by
PrAda-net can be translated to additive model components, making it suitable
for non-parametric statistical modelling with automatic model selection. We
demonstrate PrAda-net on simulated data, where we compare the test error
performance, variable importance and variable subset identification properties
of PrAda-net to other lasso-based approaches. We also apply Prada-net to the
massive U.K. black smoke data set, to demonstrate the capability of using
Prada-net as an alternative to GAMs. In contrast to GAMs, which often require
domain knowledge to select the functional forms of the additive components,
Prada-net requires no such pre-selection while still resulting in interpretable
additive components.
- Abstract（参考訳）: 一般化付加モデル(GAM)のような非パラメトリック回帰は、柔軟で解釈可能な方法で複雑なデータ依存関係をキャプチャすることができる。
しかし、付加コンポーネントのフォーマットを選択するには、しばしば非自明なデータ探索が必要である。
本稿では,近位勾配降下と適応lassoを訓練した,一層ニューラルネットワークを用いたgamsの代替手法であるprada-netを提案する。
PrAda-netは、ニューラルネットワークのサイズとアーキテクチャを自動的に調整し、基盤となるデータ生成モデルの複雑さと構造をキャプチャする。
PrAda-netにより得られたコンパクトネットワークは、自動モデル選択による非パラメトリック統計モデリングに適した付加モデルコンポーネントに変換できる。
シミュレーションデータ上でPrAda-netを実演し、PrAda-netの試験誤差性能、変数の重要度、変数のサブセット識別特性を他のラッソベースのアプローチと比較する。
我々はまた、prada-netをイギリスの巨大なブラックスモークデータセットに適用し、prada-netをgamsの代替品として使う能力を示す。
加法成分の関数形式を選択するのにドメイン知識を必要とするGAMとは対照的に、プラダネットはそのような事前選択は必要とせず、それでも解釈可能な加法成分をもたらす。
関連論文リスト
- Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Few-shot Online Anomaly Detection and Segmentation [29.693357653538474]
本稿では,難易度の高いオンライン異常検出・セグメンテーション(FOADS)の課題に対処することに焦点を当てる。
FOADSフレームワークでは、モデルを数ショットの通常のデータセットでトレーニングし、その後、正常サンプルと異常サンプルの両方を含む未ラベルのストリーミングデータを活用することで、その能力の検査と改善を行う。
限られたトレーニングサンプルを用いた性能向上のために,ImageNetで事前学習したCNNから抽出したマルチスケール特徴埋め込みを用いて,ロバストな表現を得る。
論文 参考訳（メタデータ） (2024-03-27T02:24:00Z) - GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data [14.124731264553889]
我々はGCondNetを提案し、データに存在する暗黙構造を活用してニューラルネットワークを強化する。
GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。
GCondNetが実世界の12のデータセットに対して有効であることを示す。
論文 参考訳（メタデータ） (2022-11-11T16:13:34Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - ARM-Net: Adaptive Relation Modeling Network for Structured Data [29.94433633729326]
ARM-Netは、構造化データに適した適応関係モデリングネットワークであり、リレーショナルデータのためのARM-Netに基づく軽量フレームワークARMORである。
ARM-Netは既存のモデルより一貫して優れており、データセットに対してより解釈可能な予測を提供する。
論文 参考訳（メタデータ） (2021-07-05T07:37:24Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - A Neural-embedded Choice Model: TasteNet-MNL Modeling Taste
Heterogeneity with Flexibility and Interpretability [0.0]
離散選択モデル(DCM)は実用機能、特に個人間での味の相違について事前知識を必要とする。
本稿では,ニューラルネットワークを用いて味の表現を学習する。
本研究では,TasteNet-MNLが基底構造モデルの予測可能性に到達し,合成データから非線形味関数を復元することを示す。
論文 参考訳（メタデータ） (2020-02-03T18:03:54Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。