論文の概要: Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization

• arxiv url: http://arxiv.org/abs/2511.14710v1
• Date: Tue, 18 Nov 2025 17:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.245435
• Title: Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization
• Title（参考訳）: 非パラメトリック可変回帰におけるニューラルネットワークの統一解析に向けて:最適化と一般化
• Authors: Zonghao Chen, Atsushi Nitanda, Arthur Gretton, Taiji Suzuki,
• Abstract要約: 非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
• 参考スコア（独自算出の注目度）: 66.08522228989634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish the first global convergence result of neural networks for two stage least squares (2SLS) approach in nonparametric instrumental variable regression (NPIV). This is achieved by adopting a lifted perspective through mean-field Langevin dynamics (MFLD), unlike standard MFLD, however, our setting of 2SLS entails a \emph{bilevel} optimization problem in the space of probability measures. To address this challenge, we leverage the penalty gradient approach recently developed for bilevel optimization which formulates bilevel optimization as a Lagrangian problem. This leads to a novel fully first-order algorithm, termed \texttt{F$^2$BMLD}. Apart from the convergence bound, we further provide a generalization bound, revealing an inherent trade-off in the choice of the Lagrange multiplier between optimization and statistical guarantees. Finally, we empirically validate the effectiveness of the proposed method on an offline reinforcement learning benchmark.
• Abstract（参考訳）: 非パラメトリックなインスツルメンタル変数回帰(NPIV)における2段最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィン力学(MFLD)によって持ち上げられた視点を採用することで達成されるが、通常のMFLDとは異なり、2SLSの設定は確率測度の空間において \emph{bilevel} 最適化問題を必要とする。 この課題に対処するために、最近開発された二レベル最適化にペナルティ勾配アプローチを活用し、二レベル最適化をラグランジアン問題として定式化する。 これにより、新しい一階法である「texttt{F$^2$BMLD}」が導かれる。 収束境界とは別に、一般化境界も提供し、最適化と統計的保証の間のラグランジュ乗算器の選択における固有のトレードオフを明らかにする。 最後に,オフライン強化学習ベンチマークにおいて提案手法の有効性を実証的に検証した。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• A Gradient Meta-Learning Joint Optimization for Beamforming and Antenna Position in Pinching-Antenna Systems [63.213207442368294]
  マルチ導波路ピンチアンテナシステムの新しい最適化設計について検討する。 提案したGML-JOアルゴリズムは,既存の最適化手法と比較して,様々な選択や性能に頑健である。
  論文  参考訳（メタデータ） (2025-06-14T17:35:27Z)
• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [4.554284689395686]
  暗黙的勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)アルゴリズムより優れている。 IGDは線形収束速度で大域的最適解に収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• Mean-Field Langevin Dynamics for Signed Measures via a Bilevel Approach [4.577104493960515]
  平均場ランゲヴィン力学(英: Mean-field Langevin dynamics、MLFD)は、多様体上の確率測度に対する凸最適化に取り組む相互作用粒子法の一種。 我々は,MFLDフレームワークを拡張して,符号付き測度よりも最適化問題を凸化する方法を示す。
  論文  参考訳（メタデータ） (2024-06-24T18:15:12Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。