論文の概要: A least distance estimator for a multivariate regression model using
deep neural networks
- arxiv url: http://arxiv.org/abs/2401.03123v1
- Date: Sat, 6 Jan 2024 04:36:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 20:21:48.633645
- Title: A least distance estimator for a multivariate regression model using
deep neural networks
- Title(参考訳): 深部ニューラルネットワークを用いた多変量回帰モデルの最小距離推定器
- Authors: Jungmin Shin, Seung Jun Shin, Sungwan Bang
- Abstract要約: (A)GDNN-LD推定器は、DNN構造の重みパラメータに(適応的な)グループラッソペナルティを適用することにより、可変選択とモデル推定を同時に行う。
そこで本研究では,最小距離損失に基づく非滑らかな目的関数の最適化を容易にする2次平滑化近似法を提案する。
- 参考スコア(独自算出の注目度): 1.8876415010297893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a deep neural network (DNN) based least distance (LD) estimator
(DNN-LD) for a multivariate regression problem, addressing the limitations of
the conventional methods. Due to the flexibility of a DNN structure, both
linear and nonlinear conditional mean functions can be easily modeled, and a
multivariate regression model can be realized by simply adding extra nodes at
the output layer. The proposed method is more efficient in capturing the
dependency structure among responses than the least squares loss, and robust to
outliers. In addition, we consider $L_1$-type penalization for variable
selection, crucial in analyzing high-dimensional data. Namely, we propose what
we call (A)GDNN-LD estimator that enjoys variable selection and model
estimation simultaneously, by applying the (adaptive) group Lasso penalty to
weight parameters in the DNN structure. For the computation, we propose a
quadratic smoothing approximation method to facilitate optimizing the
non-smooth objective function based on the least distance loss. The simulation
studies and a real data analysis demonstrate the promising performance of the
proposed method.
- Abstract(参考訳): 本稿では,多変量回帰問題に対するディープニューラルネットワーク(dnn)に基づく最小距離推定器(ld)を提案する。
dnn構造の柔軟性により、線形および非線形条件平均関数も容易にモデル化でき、出力層に余分なノードを追加するだけで多変量回帰モデルを実現することができる。
提案手法は, 最小二乗損失よりも応答間の依存性構造を捕捉し, 外れ値に対して頑健である。
さらに,高次元データ解析において重要な変数選択のための$L_1$型ペナル化を考える。
すなわち,変数選択とモデル推定を同時に行う(A)GDNN-LD推定器をDNN構造の重みパラメータに適応型グループLassoペナルティを適用して提案する。
本研究では,最小距離損失に基づく非スムース目的関数の最適化を容易にする2次平滑化近似法を提案する。
シミュレーション研究と実データ解析により,提案手法の有望な性能を示す。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳(メタデータ) (2023-11-13T17:55:07Z) - Reducing the Need for Backpropagation and Discovering Better Optima With
Explicit Optimizations of Neural Networks [4.807347156077897]
本稿では,ニューラルネットワークの最適化のための計算効率のよい代替案を提案する。
我々は、単純なフィードフォワード言語モデルに対する明確な解決策を導出する。
実験では,明示的な解がほぼ最適であることを示す。
論文 参考訳(メタデータ) (2023-11-13T17:38:07Z) - Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳(メタデータ) (2023-07-01T13:47:09Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [1.77513002450736]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSに基づいており,元のDNNの出力予測平均として維持される。
提案手法は,Nystr"om近似に基づく加速LLA(ELLA)と,サンプル列最適化原理を用いた他のLA変種を比較した。
論文 参考訳(メタデータ) (2023-02-24T10:32:30Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Parameter estimation for WMTI-Watson model of white matter using
encoder-decoder recurrent neural network [0.0]
本研究では,ラットおよびヒト脳のデータセット上でのNLLS,RNN法および多層パーセプトロン(MLP)の性能を評価する。
提案手法は,NLLSよりも計算時間を大幅に短縮できるという利点を示した。
論文 参考訳(メタデータ) (2022-03-01T16:33:15Z) - Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。
$nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文 参考訳(メタデータ) (2021-12-01T22:55:23Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2021-03-15T17:26:34Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。