論文の概要: Provably robust learning of regression neural networks using $β$-divergences

• arxiv url: http://arxiv.org/abs/2602.08933v1
• Date: Mon, 09 Feb 2026 17:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.398742
• Title: Provably robust learning of regression neural networks using $β$-divergences
• Title（参考訳）: $β$-divergences を用いた回帰ニューラルネットワークの確率論的学習
• Authors: Abhik Ghosh, Suryasis Jana,
• Abstract要約: 既存の回帰ニューラルネットワーク(NN)の堅牢なトレーニング方法はスコープが限られており、主に経験的検証に依存していることが多い。 我々は、rRNetと呼ぶ$$-divergence(密度電力分散とも呼ばれる)に基づく回帰NNのための新しい頑健な学習フレームワークを提案する。 rRNetがすべての$in(0, 1]$に対して仮定されたモデルで50%のブレークポイントを最適に達成し、強力な大域的ロバスト性を保証することを証明している。
• 参考スコア（独自算出の注目度）: 1.2891210250935143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regression neural networks (NNs) are most commonly trained by minimizing the mean squared prediction error, which is highly sensitive to outliers and data contamination. Existing robust training methods for regression NNs are often limited in scope and rely primarily on empirical validation, with only a few offering partial theoretical guarantees. In this paper, we propose a new robust learning framework for regression NNs based on the $β$-divergence (also known as the density power divergence) which we call `rRNet'. It applies to a broad class of regression NNs, including models with non-smooth activation functions and error densities, and recovers the classical maximum likelihood learning as a special case. The rRNet is implemented via an alternating optimization scheme, for which we establish convergence guarantees to stationary points under mild, verifiable conditions. The (local) robustness of rRNet is theoretically characterized through the influence functions of both the parameter estimates and the resulting rRNet predictor, which are shown to be bounded for suitable choices of the tuning parameter $β$, depending on the error density. We further prove that rRNet attains the optimal 50\% asymptotic breakdown point at the assumed model for all $β\in(0, 1]$, providing a strong global robustness guarantee that is largely absent for existing NN learning methods. Our theoretical results are complemented by simulation experiments and real-data analyses, illustrating practical advantages of rRNet over existing approaches in both function approximation problems and prediction tasks with noisy observations.
• Abstract（参考訳）: 回帰ニューラルネットワーク(NN)は、平均2乗予測誤差を最小化することで訓練される。 既存のレグレッションNNの堅牢なトレーニング手法はスコープが限られており、主に経験的検証に依存しており、部分的に理論的保証を提供するものはほとんどない。 本稿では,「rRNet」と呼ぶ$β$-divergence(密度電力分散とも呼ばれる)に基づく,回帰NNのための新しい頑健な学習フレームワークを提案する。 これは、非滑らかなアクティベーション関数とエラー密度を持つモデルを含む幅広い回帰NNに適用され、古典的な最大可能性学習を特別なケースとして回復する。 rRNetは交互最適化スキームによって実装され、軽度で検証可能な条件下で定常点への収束保証を確立する。 rRNetの(局所的な)ロバスト性は、パラメータ推定値と結果のrRNet予測値の両方の影響関数によって理論的に特徴づけられる。 さらに、rRNetは、すべての$β\in(0, 1]$に対して仮定されたモデルにおいて、50\%の漸近的なブレークポイントを最適に達成し、既存のNN学習手法にはほとんど欠落している強力な大域的ロバスト性保証を提供する。 我々の理論結果はシミュレーション実験と実データ解析によって補完され、関数近似問題と雑音観測による予測タスクの両方における既存のアプローチに対するrRNetの実用的優位性を示す。

関連論文リスト

• Average-Over-Time Spiking Neural Networks for Uncertainty Estimation in Regression [3.409728296852651]
  本稿では,AOT-SNN(Average-Over-Time Spiking Neural Network)フレームワークを回帰タスクに適用する2つの手法を提案する。 おもちゃのデータセットといくつかのベンチマークデータセットの両方に対して、我々のアプローチを評価します。
  論文  参考訳（メタデータ） (2024-11-29T23:13:52Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Estimation of Non-Crossing Quantile Regression Process with Deep ReQU Neural Networks [5.5272015676880795]
  本稿では,2次単位(ReQU)活性化深層ニューラルネットワークを用いた非分離モデルにおいて,QRP(quantile regression process)を推定するペナル化非パラメトリック手法を提案する。 推定されたQRPに対する非漸近的過剰リスク境界を確立し、軽度な滑らかさと規則性条件下で推定されたQRPに対する平均2乗誤差を導出する。
  論文  参考訳（メタデータ） (2022-07-21T12:26:45Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
  ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。 新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。 モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
  論文  参考訳（メタデータ） (2022-01-14T06:42:42Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Measurement error models: from nonparametric methods to deep neural networks [3.1798318618973362]
  本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。 完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。 我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
  論文  参考訳（メタデータ） (2020-07-15T06:05:37Z)
• Nonconvex sparse regularization for deep neural networks and its optimality [1.9798034349981162]
  ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。 スパースDNNに対する新たなペナル化推定法を提案する。 スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
  論文  参考訳（メタデータ） (2020-03-26T07:15:28Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。