論文の概要: Learning Conditional Expectation Operators via Functional Newton Updates

• arxiv url: http://arxiv.org/abs/2609.35598v1
• Date: Mon, 28 Sep 2026 16:48:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:31:31.317121
• Title: Learning Conditional Expectation Operators via Functional Newton Updates
• Title（参考訳）: 機能的ニュートン更新による条件付き期待演算子の学習
• Abstract要約: 本稿では,条件付き期待演算子の主特異構造を学習するための関数スペクトルニュートン法(FSNM)を提案する。 FSNMは、機能的ニュートン更新を交互に行い、中心となる結合と積の密度比のカーネルの低ランク表現に適合する。 FSNMは、低ランク密度比とその先行スペクトル構造を復元し、同じ学習されたカーネルが、再構成することなく複数の条件付きクエリに応答可能であることを示す。
• 参考スコア（独自算出の注目度）: 20.68773389564316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Functional Spectral-Newton Method (FSNM) for learning the leading singular structure of a conditional expectation operator without fixing a basis or reproducing kernel Hilbert space. FSNM fits a low-rank representation of the centered joint-to-product density ratio kernel by alternating functional Newton updates. Each update reduces to a preconditioned regression, which we approximate with vector-valued regression trees in a stagewise boosting procedure. At the population level, we establish descent and an $O(1/T)$ best-iterate block-stationarity rate under a relative weak-learner accuracy condition, and show that every nondegenerate local minimum over the full centered $L^2$ spaces is a globally optimal rank-$d$ approximation. Synthetic experiments show that FSNM recovers a low-rank density ratio and its leading spectral structure, and that the same learned kernel can answer multiple conditional queries without refitting.
• Abstract（参考訳）: 基底を固定したり、ヒルベルト空間を再生したりすることなく、条件付き期待演算子の主特異構造を学習するための関数スペクトルニュートン法(FSNM)を導入する。 FSNMは、機能的ニュートン更新を交互に行い、中心となる結合と積の密度比のカーネルの低ランク表現に適合する。 各更新はプレコンディションレグレッションに還元され、段階的に向上する手順でベクトル値レグレッションツリーに近似する。 人口レベルでは、相対弱階層精度条件下での降下とO(1/T)$ベストイテレートブロック定常率を確立し、L^2$空間上のすべての非退化局所最小値が大域的最適ランク-$d$近似であることを示す。 合成実験により、FSNMは低ランク密度比とその先行スペクトル構造を回復し、同じ学習されたカーネルが再適合することなく複数の条件付きクエリに応答できることが示されている。

関連論文リスト

• A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees [34.85903827323451]
  我々は、正規化ニュートン方程式を解くために、現在の勾配と以前の勾配から構築された新しい正規化器のクラスを提案する。 提案アルゴリズムは適応的であり、ヘッセン・リプシッツ定数の事前知識を必要としない。
  論文  参考訳（メタデータ） (2025-02-07T10:10:10Z)
• Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
  我々は,ソボレフ関数の期待値として,データの任意の一次元射影に対する期待値とみなす。 このフレームワークはカーネルリッジ回帰に似ており、カーネルは$mathbbE_w (k(B)(wtop x,wtop xprime))$で、$k(B)(a,b) := min(|a|, |b|)mathds1_ab>0$で、プロジェクションの$w$は学習される。
  論文  参考訳（メタデータ） (2024-07-24T13:46:50Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
  本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。 私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
  論文  参考訳（メタデータ） (2024-02-06T01:29:35Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Stochastic Subspace Cubic Newton Method [14.624340432672172]
  本稿では,高次元凸関数$f$を最小化するランダム化二階最適化アルゴリズムを提案する。 ミニバッチサイズが変化するにつれて、SSCNのグローバル収束速度は座標降下速度(CD)と立方正規化ニュートン速度とを補間することを示した。 注目すべきことに、SSCN の局所収束速度は、次数関数 $frac12 (x-x*)top nabla2f(x*)(x-x*)$ の最小化問題に適用される部分空間降下率と一致する。
  論文  参考訳（メタデータ） (2020-02-21T19:42:18Z)
• RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces [14.924672048447334]
  大規模な有限サム問題はニュートン法の効率的な変種を用いて解くことができ、ヘッセンはデータのサブサンプルによって近似される。 本稿では,このような問題に対して,ニュートン法を高速化するためにカーネル近似を自然に利用できることを考察する。 局所超線型収束と大域線形収束を両立させる新しい2次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-12T01:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。