論文の概要: Random Gradient-Free Optimization in Infinite Dimensional Spaces

• arxiv url: http://arxiv.org/abs/2512.20566v1
• Date: Tue, 23 Dec 2025 18:09:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.520741
• Title: Random Gradient-Free Optimization in Infinite Dimensional Spaces
• Title（参考訳）: 無限次元空間におけるランダム勾配自由最適化
• Authors: Caio Lins Peixoto, Daniel Csillag, Bernardo F. P. da Costa, Yuri F. Saporito,
• Abstract要約: 無限次元ヒルベルト空間におけるランダム勾配のない最適化法を提案する。 我々のフレームワークは、方向微分の計算とヒルベルト空間領域の事前基底のみを必要とする。 本稿では,ニューラルネットワークを用いた偏微分方程式の解法について紹介する。
• 参考スコア（独自算出の注目度）: 3.8031924942083517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a random gradient-free method for optimization in infinite dimensional Hilbert spaces, applicable to functional optimization in diverse settings. Though such problems are often solved through finite-dimensional gradient descent over a parametrization of the functions, such as neural networks, an interesting alternative is to instead perform gradient descent directly in the function space by leveraging its Hilbert space structure, thus enabling provable guarantees and fast convergence. However, infinite-dimensional gradients are often hard to compute in practice, hindering the applicability of such methods. To overcome this limitation, our framework requires only the computation of directional derivatives and a pre-basis for the Hilbert space domain, i.e., a linearly-independent set whose span is dense in the Hilbert space. This fully resolves the tractability issue, as pre-bases are much more easily obtained than full orthonormal bases or reproducing kernels -- which may not even exist -- and individual directional derivatives can be easily computed using forward-mode scalar automatic differentiation. We showcase the use of our method to solve partial differential equations à la physics informed neural networks (PINNs), where it effectively enables provable convergence.
• Abstract（参考訳）: 本稿では,無限次元ヒルベルト空間における無作為勾配のない最適化法を提案する。 このような問題は、ニューラルネットワークのような関数のパラメトリゼーション上の有限次元勾配降下によって解決されることが多いが、代わりにヒルベルト空間構造を利用して関数空間内で勾配降下を直接行うことで、証明可能な保証と高速収束を可能にする。 しかし、無限次元勾配は実際は計算が難しいことが多く、そのような方法の適用性を妨げている。 この制限を克服するために、我々のフレームワークは、方向微分の計算とヒルベルト空間領域の事前基底のみを必要とする。 これは、前ベースが完全な正則基底や再生カーネル(存在すらしないかもしれない)よりもはるかに容易に得られ、個々の方向微分は前方モードのスカラー自動微分を使って容易に計算できるため、トラクタビリティの問題を完全に解決する。 本稿では,この手法を用いて物理情報ニューラルネットワーク(PINN)の偏微分方程式を解く。

関連論文リスト

• Gradient-Based Non-Linear Inverse Learning [2.6149030745627644]
  ランダム設計下での非線形逆問題の文脈における統計的逆学習について検討する。 勾配勾配勾配 (GD) と降下勾配 (SGD) を, それぞれ一定のステップサイズを用いて小バッチで適用した。 我々の分析は、対象関数の滑らかさに関する古典的な前提条件の下で、両方のアルゴリズムの収束率を導出する。
  論文  参考訳（メタデータ） (2024-12-21T22:38:17Z)
• Kernel Operator-Theoretic Bayesian Filter for Nonlinear Dynamical Systems [25.922732994397485]
  本稿では,演算子理論モデリングのための機能的ベイズ的視点に基づく機械学習手法を提案する。 この定式化は、線型作用素の無限次元空間や普遍近似特性を持つヒルベルト空間で直接行われる。 この実践的手法は正確な結果を得ることができ、有限次元クープマン分解より優れることを示す。
  論文  参考訳（メタデータ） (2024-10-31T20:31:31Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
  古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。 我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
  論文  参考訳（メタデータ） (2023-05-05T13:37:34Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。