論文の概要: Optimality and Adaptivity of Deep Neural Features for Instrumental Variable Regression

• arxiv url: http://arxiv.org/abs/2501.04898v1
• Date: Thu, 09 Jan 2025 01:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:34.337769
• Title: Optimality and Adaptivity of Deep Neural Features for Instrumental Variable Regression
• Title（参考訳）: インスツルメンタル可変回帰のためのディープニューラル特徴の最適性と適応性
• Authors: Juno Kim, Dimitri Meunier, Arthur Gretton, Taiji Suzuki, Zhu Li,
• Abstract要約: ディープ・フィーチャー・インスツルメンタル・変数(DFIV)回帰(Deep Feature instrumental variable)は、ディープ・ニューラルネットワークによって学習されたデータ適応的特徴を用いたIV回帰に対する非パラメトリックなアプローチである。 DFIVアルゴリズムは,目的構造関数がベソフ空間にある場合,最小最適学習率を実現する。
• 参考スコア（独自算出の注目度）: 57.40108516085593
• License:
• Abstract: We provide a convergence analysis of deep feature instrumental variable (DFIV) regression (Xu et al., 2021), a nonparametric approach to IV regression using data-adaptive features learned by deep neural networks in two stages. We prove that the DFIV algorithm achieves the minimax optimal learning rate when the target structural function lies in a Besov space. This is shown under standard nonparametric IV assumptions, and an additional smoothness assumption on the regularity of the conditional distribution of the covariate given the instrument, which controls the difficulty of Stage 1. We further demonstrate that DFIV, as a data-adaptive algorithm, is superior to fixed-feature (kernel or sieve) IV methods in two ways. First, when the target function possesses low spatial homogeneity (i.e., it has both smooth and spiky/discontinuous regions), DFIV still achieves the optimal rate, while fixed-feature methods are shown to be strictly suboptimal. Second, comparing with kernel-based two-stage regression estimators, DFIV is provably more data efficient in the Stage 1 samples.
• Abstract（参考訳）: 本稿では,深部ニューラルネットワークが2段階に学習したデータ適応的特徴を用いた非パラメトリックなIV回帰手法であるDFIV回帰(Xu et al , 2021)の収束解析について述べる。 DFIVアルゴリズムは,目的構造関数がベソフ空間にある場合,最小最適学習率を実現する。 これは標準の非パラメトリックIV仮定の下で示され、また、ステージ1の難易度を制御する同変数の条件分布の正則性に関する追加の滑らかさの仮定が与えられる。 さらに、DFIVは、データ適応型アルゴリズムとして、固定機能(カーネルまたはシーブ)IV法よりも2つの方法で優れていることを示す。 第一に、対象関数が低空間的均一性(すなわち、滑らかでスパイクで不連続な領域)を持つ場合、DFIVは依然として最適な速度を達成し、固定機能法は厳密な最適値を示す。 第2に、カーネルベースの2段階回帰推定器と比較すると、DFIVはステージ1のサンプルより確実にデータ効率が良い。

関連論文リスト

• Tensor-Var: Variational Data Assimilation in Tensor Product Feature Space [30.63086465547801]
  変動データ同化は、数値モデルと観測データに適合するコスト関数を最小化することにより、力学系の状態を推定する。 広く使われている4次元同化法(4D-Var)は、(1)複雑な非線形系に対する計算的要求と(2)状態観測写像に依存するという2つの主要な課題を持つ。 ディープラーニング(DL)は、これらの課題に対処するために、より表現力のある効率的なモデル近似器のクラスとして使われてきた。 本稿では,カーネル条件値を用いた条件平均埋め込み(CME)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T01:43:31Z)
• Nonparametric Instrumental Regression via Kernel Methods is Minimax Optimal [28.361133177290657]
  本研究では citetsingh 2019 のカーネルインストゥルメンタル変数アルゴリズムについて検討した。 核NPIV推定器は最小ノルムのIV解に収束することを示す。 また、第1段階回帰において一般的なスペクトル正則化を採用することにより、元のカーネルNPIVアルゴリズムを改善した。
  論文  参考訳（メタデータ） (2024-11-29T12:18:01Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Learning Decision Policies with Instrumental Variables through Double Machine Learning [16.842233444365764]
  データリッチな設定における意思決定ポリシーの学習における一般的な問題は、オフラインデータセットにおける急激な相関である。 2段階IV回帰のバイアスを低減する非線形IV回帰法であるDML-IVを提案する。 IV回帰ベンチマークでは、最先端のIV回帰法よりも優れており、楽器の存在下で高い性能のポリシーを学ぶ。
  論文  参考訳（メタデータ） (2024-05-14T10:55:04Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Regularized DeepIV with Model Selection [72.17508967124081]
  正規化DeepIV(RDIV)回帰は最小ノルムIV解に収束することができる。 我々の手法は現在の最先端の収束率と一致している。
  論文  参考訳（メタデータ） (2024-03-07T05:38:56Z)
• Nonparametric Instrumental Variable Regression through Stochastic Approximate Gradients [0.3277163122167434]
  集団リスクを直接最小化することにより,NPIV回帰に対処するための関数勾配降下アルゴリズムの定式化方法を示す。 我々は,過大なリスクに対するバウンダリの形で理論的支援を行い,提案手法の優れた安定性と競争性能を示す数値実験を行った。 このアルゴリズムは、ニューラルネットワークやカーネルベースの手法のような柔軟な推定器の選択と、非二次的損失関数を可能にする。
  論文  参考訳（メタデータ） (2024-02-08T12:50:38Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Learning Deep Features in Instrumental Variable Regression [42.085253974990046]
  IVレグレッションでは、学習は2段階に進み、ステージ1は、機器から治療への線形回帰を行い、ステージ2は、機器に条件付きで、処理から結果への線形回帰を行う。 本稿では, 楽器, 治療, 結果の関係が非線形である場合に対処する手法として, DFIV(Deep Feature instrumental variable regression)を提案する。
  論文  参考訳（メタデータ） (2020-10-14T15:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。