Fugu-MT 論文翻訳(概要): Functional Gradient Descent with Adaptive Representations

論文の概要: Functional Gradient Descent with Adaptive Representations

arxiv url: http://arxiv.org/abs/2606.16926v1
Date: Mon, 15 Jun 2026 16:27:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 16:21:34.768035
Title: Functional Gradient Descent with Adaptive Representations
Title（参考訳）: Adaptive Representation を用いた機能的グラディエントDescent
Authors: Daniel Csillag, Rodrigo Schuller, Pedro Dall'Antonia, Leonidas Guibas, Luiz Velho, Tiago Novello,
Abstract要約: 本稿では,関数最適化問題に対するFGDアルゴリズムを提案する。 FGDは、ファンクショナルグラデーションを完全に計算したり、メモリに格納したりできないため、実際に実装するのは困難である。我々のアルゴリズムは、固定近似とニューラルネットワークのベースラインでFGDの効率を一貫して上回ることを示す。
参考スコア（独自算出の注目度）: 6.479603810066888
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Functional optimization problems are typically solved by optimizing the parameters of a fixed representation, such as a neural network, resulting in highly nonconvex losses that complicate both training and theoretical analysis. An interesting alternative is functional gradient descent (FGD), that is, gradient descent directly in function space, which benefits from strong convergence results and admits a clean theory. However, FGD is difficult to implement in practice because functional gradients are infinite-dimensional, and thus cannot be fully computed nor stored in memory. Existing implementations therefore rely on fixed approximations, which introduce approximation error. We propose a new, theoretically-grounded FGD algorithm that adapts the representation of the functional gradients over the course of optimization. By explicitly incorporating this approximation into the analysis, we establish convergence to a stationary point (for smooth losses) and to a global minimizer (under smoothness + a Polyak-Lojasiewicz-type condition) regardless of our approximations. To the best of our knowledge, this is the first implementable FGD method with such guarantees in a general setting. We demonstrate the effectiveness of our method on regression, numerical solution of PDEs, and modern computer vision. Across settings, our method consistently outperforms both FGD with fixed approximations and neural network baselines in efficiency and accuracy.
Abstract（参考訳）: 関数最適化問題は通常、ニューラルネットワークのような固定表現のパラメータを最適化することで解決される。興味深い選択肢は関数勾配降下(FGD)であり、これは函数空間において直接勾配降下であり、強い収束結果の恩恵を受け、クリーンな理論を持つ。しかしFGDは、関数勾配が無限次元であるため、完全に計算したりメモリに格納したりできないため、実際に実装するのは困難である。既存の実装は固定近似に依存しており、近似誤差が生じる。最適化の過程で関数勾配の表現に適応する理論的なFGDアルゴリズムを提案する。この近似を解析に明示的に組み込むことにより、近似によらず定常点(滑らかな損失のために)と大域的最小点(滑らかさ+ポリアック・ロジャシエヴィチ型条件下で)への収束を確立する。我々の知る限りでは、これは一般的な設定でそのような保証を持つ最初の実装可能なFGD手法である。本稿では,PDEの回帰,数値解法,コンピュータビジョンにおける提案手法の有効性を示す。設定全体では、固定近似とニューラルネットワークのベースラインの効率と精度でFGDを一貫して上回っている。

関連論文リスト

A Parameter-Free First-Order Algorithm for Non-Convex Optimization with $\tilde{\mkern1mu O}(ε^{-5/3})$ Global Rate [0.12744523252873352]
PF-AGDはパラメータフリーで高速化された最初の1次法で、スムーズな非ログ目的に対して$O(-5)$複雑性を実現する。
論文参考訳（メタデータ） (2026-05-04T01:17:06Z)
An Efficient Spatial Branch-and-Bound Algorithm for Global Optimization of Gaussian Process Posterior Mean Functions [2.738648582869357]
空間空間の分枝および分枝における部分解析的下界表現が平均値に有効であることを示す。その結果,PALM-Meanはデータ点数の増加に伴い,汎用的グローバルトレーニングの改善を図っている。
論文参考訳（メタデータ） (2026-04-21T01:13:54Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
The computational asymptotics of Gaussian variational inference and the Laplace approximation [19.366538729532856]
ガウス族との変分推論の凸性について理論的に解析する。 CSVIとCSVの両方の大規模実データにより、各最適化問題のグローバルな最適解が得られる可能性が向上することを示す。
論文参考訳（メタデータ） (2021-04-13T01:23:34Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文参考訳（メタデータ） (2020-06-18T22:47:58Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。