論文の概要: Nonparametric Instrumental Regression via Kernel Methods is Minimax Optimal

• arxiv url: http://arxiv.org/abs/2411.19653v1
• Date: Fri, 29 Nov 2024 12:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:22.608092
• Title: Nonparametric Instrumental Regression via Kernel Methods is Minimax Optimal
• Title（参考訳）: カーネル法による非パラメトリックインスツルメンタルレグレッションは最小値である
• Authors: Dimitri Meunier, Zhu Li, Tim Christensen, Arthur Gretton,
• Abstract要約: 本研究では citetsingh 2019 のカーネルインストゥルメンタル変数アルゴリズムについて検討した。 核NPIV推定器は最小ノルムのIV解に収束することを示す。 また、第1段階回帰において一般的なスペクトル正則化を採用することにより、元のカーネルNPIVアルゴリズムを改善した。
• 参考スコア（独自算出の注目度）: 28.361133177290657
• License:
• Abstract: We study the kernel instrumental variable algorithm of \citet{singh2019kernel}, a nonparametric two-stage least squares (2SLS) procedure which has demonstrated strong empirical performance. We provide a convergence analysis that covers both the identified and unidentified settings: when the structural function cannot be identified, we show that the kernel NPIV estimator converges to the IV solution with minimum norm. Crucially, our convergence is with respect to the strong $L_2$-norm, rather than a pseudo-norm. Additionally, we characterize the smoothness of the target function without relying on the instrument, instead leveraging a new description of the projected subspace size (this being closely related to the link condition in inverse learning literature). With the subspace size description and under standard kernel learning assumptions, we derive, for the first time, the minimax optimal learning rate for kernel NPIV in the strong $L_2$-norm. Our result demonstrates that the strength of the instrument is essential to achieve efficient learning. We also improve the original kernel NPIV algorithm by adopting a general spectral regularization in stage 1 regression. The modified regularization can overcome the saturation effect of Tikhonov regularization.
• Abstract（参考訳）: 非パラメトリックな2段最小二乗法 (2SLS) 手法である \citet{singh2019kernel {\displaystyle \citet{singh2019kernel} のカーネルインスツルメンタル変数アルゴリズムについて検討した。 構造関数を同定できない場合には、カーネルNPIV推定器が最小ノルムでIV解に収束することを示す。 重要なことに、我々の収束は擬ノルムではなく強い$L_2$-ノルムに関するものである。 さらに,対象関数の滑らかさを楽器に頼らずに特徴付け,その代わりに投影された部分空間サイズ(逆学習文学におけるリンク条件と密接に関連している)の新たな記述を活用する。 サブスペースサイズの記述と標準的なカーネル学習仮定により、カーネルNPIVの最大学習率を最大$L_2$-normで初めて導いた。 この結果から,効率的な学習を実現するためには,楽器の強度が不可欠であることが示唆された。 また、第1段階回帰において一般的なスペクトル正則化を採用することにより、元のカーネルNPIVアルゴリズムを改善した。 修正された正則化は、チコノフ正則化の飽和効果を克服することができる。

関連論文リスト

• Optimality and Adaptivity of Deep Neural Features for Instrumental Variable Regression [57.40108516085593]
  ディープ・フィーチャー・インスツルメンタル・変数(DFIV)回帰(Deep Feature instrumental variable)は、ディープ・ニューラルネットワークによって学習されたデータ適応的特徴を用いたIV回帰に対する非パラメトリックなアプローチである。 DFIVアルゴリズムは,目的構造関数がベソフ空間にある場合,最小最適学習率を実現する。
  論文  参考訳（メタデータ） (2025-01-09T01:22:22Z)
• Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers [0.0]
  ヤコビ行列のスペクトルノルムの制御は、CNNの一般化、訓練安定性、堅牢性を改善することが示されている。 既存の計算法では、入力やカーネルのサイズが大きくなるにつれて、その性能が急速に悪化する傾向にある。 本稿では,4次元畳み込みカーネルのスペクトルノルムのテンソルバージョンが,畳み込み演算に関連するヤコビ行列のスペクトルノルムの上界として機能することを実証する。
  論文  参考訳（メタデータ） (2024-09-18T10:28:28Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
  近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。 本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。 パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T00:34:55Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。