論文の概要: Nonparametric logistic regression with deep learning

• arxiv url: http://arxiv.org/abs/2401.12482v2
• Date: Tue, 25 Feb 2025 05:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:03.767299
• Title: Nonparametric logistic regression with deep learning
• Title（参考訳）: ディープラーニングを用いた非パラメトリックロジスティック回帰
• Authors: Atsutomo Yara, Yoshikazu Terada,
• Abstract要約: 非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。 余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。 重要な応用として、完全に接続されたディープニューラルネットワークを持つNPMLEの収束率を導出する。
• 参考スコア（独自算出の注目度）: 1.0589208420411012
• License:
• Abstract: Consider the nonparametric logistic regression problem. In the logistic regression, we usually consider the maximum likelihood estimator, and the excess risk is the expectation of the Kullback-Leibler (KL) divergence between the true and estimated conditional class probabilities. However, in the nonparametric logistic regression, the KL divergence could diverge easily, and thus, the convergence of the excess risk is difficult to prove or does not hold. Several existing studies show the convergence of the KL divergence under strong assumptions. In most cases, our goal is to estimate the true conditional class probabilities. Thus, instead of analyzing the excess risk itself, it suffices to show the consistency of the maximum likelihood estimator in some suitable metric. In this paper, using a simple unified approach for analyzing the nonparametric maximum likelihood estimator (NPMLE), we directly derive convergence rates of the NPMLE in the Hellinger distance under mild assumptions. Although our results are similar to the results in some existing studies, we provide simple and more direct proofs for these results. As an important application, we derive convergence rates of the NPMLE with fully connected deep neural networks and show that the derived rate nearly achieves the minimax optimal rate.
• Abstract（参考訳）: 非パラメトリックロジスティック回帰問題を考える。 ロジスティック回帰では、通常、最大極大推定器を考慮し、過剰リスクは、真の条件クラス確率と推定された条件クラス確率の間のクルバック・リーブラー(KL)偏差を期待する。 しかし、非パラメトリックなロジスティック回帰では、KLの発散は容易に分岐し、過剰なリスクの収束は証明が難しいか、保たない。 いくつかの既存の研究は、強い仮定の下でのKLの発散の収束を示している。 ほとんどの場合、我々の目標は真の条件付きクラス確率を推定することである。 したがって、余剰リスク自体を解析する代わりに、ある適切な計量で最大可能性推定器の一貫性を示すのに十分である。 本稿では,NPMLE(Nonparametric maximum max estimator)を解析するための単純な統一的手法を用いて,Helinger距離におけるNPMLEの収束率を直接推定する。 この結果は既存のいくつかの研究の結果と似ているが、これらの結果のより単純で直接的な証明を提供する。 重要な応用として、完全に接続されたディープニューラルネットワークによるNPMLEの収束率を導出し、導出速度が最小値の最適速度にほぼ近いことを示す。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Quantized Low-Rank Multivariate Regression with Random Dithering [23.81618208119832]
  低ランク多変量回帰(LRMR)は重要な統計的学習モデルである。 基礎となる係数行列の推定に焦点をあてる。 我々は、ランダムディザリングを伴う均一な量子化、すなわち、量子化の前に適切なランダムノイズをデータに追加する。 制約付きラッソおよび正規化ラッソ推定器を提案し、非漸近誤差境界を導出する。
  論文  参考訳（メタデータ） (2023-02-22T08:14:24Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Optimally tackling covariate shift in RKHS-based nonparametric regression [43.457497490211985]
  我々は、慎重に選択された正規化パラメータを持つカーネルリッジ回帰推定器がミニマックスレート最適であることを示す。 また,関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は,厳密に準最適であることを示す。 そこで本研究では, 再重み付きKRR推定器を提案する。
  論文  参考訳（メタデータ） (2022-05-06T02:33:24Z)
• Distribution Regression with Sliced Wasserstein Kernels [45.916342378789174]
  分布回帰のための最初のOTに基づく推定器を提案する。 このような表現に基づくカーネルリッジ回帰推定器の理論的性質について検討する。
  論文  参考訳（メタデータ） (2022-02-08T15:21:56Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
  パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。 我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-10-11T19:05:49Z)
• Robust regression with covariate filtering: Heavy tails and adversarial contamination [6.939768185086755]
  より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。 この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
  論文  参考訳（メタデータ） (2020-09-27T22:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。