論文の概要: Deep regression learning from dependent observations with minimum error entropy principle
- arxiv url: http://arxiv.org/abs/2603.11138v1
- Date: Wed, 11 Mar 2026 16:28:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:25.54124
- Title: Deep regression learning from dependent observations with minimum error entropy principle
- Title(参考訳): 最小誤差エントロピー原理による依存観測からの深部回帰学習
- Authors: William Kengne, Modou Wade,
- Abstract要約: 本研究では,非ペナル化ディープニューラルネットワーク (NPDNN) とスパースペン化ディープニューラルネットワーク (SPDNN) の2つの予測器について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper considers nonparametric regression from strongly mixing observations. The proposed approach is based on deep neural networks with minimum error entropy (MEE) principle. We study two estimators: the non-penalized deep neural network (NPDNN) and the sparse-penalized deep neural network (SPDNN) predictors. Upper bounds of the expected excess risk are established for both estimators over the classes of Hölder and composition Hölder functions. For the models with Gaussian error, the rates of the upper bound obtained match (up to a logarithmic factor) with the lower bounds established in \cite{schmidt2020nonparametric}, showing that both the MEE-based NPDNN and SPDNN estimators from strongly mixing data can achieve the minimax optimal convergence rate.
- Abstract(参考訳): 本稿では,強い混合観測による非パラメトリック回帰について考察する。
提案手法は,最小誤差エントロピー(MEE)原理を持つディープニューラルネットワークに基づいている。
本研究では,非ペナル化ディープニューラルネットワーク (NPDNN) とスパースペン化ディープニューラルネットワーク (SPDNN) の2つの予測器について検討した。
予想される余剰リスクの上界は、ヘルダーのクラスと構成ヘルダー関数のクラス上の推定器の両方に対して確立される。
ガウス誤差を持つモデルの場合、上界と下界との一致率(対数係数まで)は、MEEベースのNPDNNとSPDNNの双方を強く混合したデータから推定すると、最小収束率が得られることを示す。
関連論文リスト
- A general framework for deep learning [0.0]
我々は、一般化されたバーンスタイン型不等式を満たすデータからフレームワークを実行する。
これらの推定器のそれぞれについて、ハルダーの滑らかな函数と構成ハルダー関数のクラスに対する予測余剰リスクの境界が確立される。
NPDNNとSPDNNの両方の推定器は、多くの古典的設定において、最小限の最適(対数係数まで)であることが示されている。
論文 参考訳(メタデータ) (2025-12-29T12:42:10Z) - Deep learning with missing data [3.829599191332801]
本稿では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。
インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。
出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。
論文 参考訳(メタデータ) (2025-04-21T18:57:36Z) - Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality [0.0]
ディープニューラルネットワーク予測器のスパースペナル化正規化について検討する。
正方形と幅広い損失関数を扱う。
論文 参考訳(メタデータ) (2024-06-12T15:21:51Z) - Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network [3.4623717820849476]
本研究では、下層の回帰関数とその勾配の非パラメトリック推定のための半教師付きディープソボレフ回帰器SDOREを提案する。
我々の研究は、SDOREの収束速度を$L2$-normで徹底的に分析し、ミニマックス最適性を達成することを含む。
論文 参考訳(メタデータ) (2024-01-09T13:10:30Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy Compression [37.69303106863453]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析を行うためのフレームワークを提案する。
また,MI力学の新たな特徴を明らかにするため,実規模に近いISB解析を行う。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Differentially private training of neural networks with Langevin
dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。
これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文 参考訳(メタデータ) (2021-07-09T08:14:45Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Multi-Sample Online Learning for Spiking Neural Networks based on
Generalized Expectation Maximization [42.125394498649015]
スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。
本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。
鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
論文 参考訳(メタデータ) (2021-02-05T16:39:42Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。