Fugu-MT 論文翻訳(概要): Mixed Newton Method for Optimization in Complex Spaces

論文の概要: Mixed Newton Method for Optimization in Complex Spaces

arxiv url: http://arxiv.org/abs/2407.20367v2
Date: Wed, 13 Nov 2024 20:29:35 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-15 15:21:36.071529
Title: Mixed Newton Method for Optimization in Complex Spaces
Title（参考訳）: 複合空間における混合ニュートン法による最適化
Authors: Nikita Yudin, Roland Hildebrand, Sergey Bakhurin, Alexander Degtyarev, Anna Lisachenko, Ilya Kuruzov, Andrei Semenov, Mohammad Alkousa,
Abstract要約: 任意の正則化は混合ニュートン法の良好な局所収束特性を保っていることを示す。ニューラルネットワークを実数パラメータと複素数パラメータで訓練するために適用したいくつかの変種を比較した。
参考スコア（独自算出の注目度）: 32.73124984242397
License:
Abstract: In this paper, we modify and apply the recently introduced Mixed Newton Method, which is originally designed for minimizing real-valued functions of complex variables, to the minimization of real-valued functions of real variables by extending the functions to complex space. We show that arbitrary regularizations preserve the favorable local convergence properties of the method, and construct a special type of regularization used to prevent convergence to complex minima. We compare several variants of the method applied to training neural networks with real and complex parameters.
Abstract（参考訳）: 本稿では,複素変数の実数値関数の最小化を目的としたMixed Newton Methodを,関数を複素空間に拡張して実変数の実数値関数の最小化に適用する。任意の正則化は手法の好適な局所収束特性を保ち、複素ミニマへの収束を防止するために用いられる特別なタイプの正則化を構成することを示す。ニューラルネットワークを実数パラメータと複素数パラメータで訓練するために適用したいくつかの変種を比較した。

関連論文リスト

Mapping-to-Parameter Nonlinear Functional Regression with Novel B-spline Free Knot Placement Algorithm [12.491024918270824]
非線形機能回帰に対する新しいアプローチを提案する。このモデルは無限次元関数空間から有限次元パラメータ空間への関数データのマッピングに基づいている。結び目配置アルゴリズムの性能は, 単一関数近似と多関数近似の両方において堅牢であることが示されている。
論文参考訳（メタデータ） (2024-01-26T16:35:48Z)
Minimizing Quasi-Self-Concordant Functions by Gradient Regularization of Newton Method [4.62316736194615]
準自己調和平滑成分を用いた複合凸最適化問題について検討する。この問題クラスは、古典的な自己調和函数とリプシッツ連続ヘッセン函数の間に自然に補間する。準自己協和関数を最小化するためには、グラディエント正規化を伴う基本ニュートン法を用いることができる。
論文参考訳（メタデータ） (2023-08-28T17:43:04Z)
Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
論文参考訳（メタデータ） (2023-08-20T04:01:30Z)
Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-08-18T14:57:21Z)
Rational kernel-based interpolation for complex-valued frequency response functions [0.0]
この研究は、データからの複素値関数のカーネルベースの近似に関するものである。複素値関数の新しいヒルベルト核空間を導入し、これらの空間の最小ノルムとしてカーネル対を用いて複素値の問題を定式化する。電磁法や音響法など,様々な分野の例に対する数値的な結果から,本手法の性能が説明できる。
論文参考訳（メタデータ） (2023-07-25T13:21:07Z)
Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。予測と高い確率で、新しい過剰なリスク境界を提供する。我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
論文参考訳（メタデータ） (2022-11-03T12:40:24Z)
Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文参考訳（メタデータ） (2022-07-02T10:00:35Z)
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文参考訳（メタデータ） (2021-10-20T02:25:25Z)
Tractable structured natural gradient descent using local parameterizations [43.51581051770027]
構造化パラメータ空間上の自然勾配降下は、複雑な逆フィッシャー行列計算により計算的に困難である。我々は, emphlocal-パラメータ座標を用いてこの問題に対処する。我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。
論文参考訳（メタデータ） (2021-02-15T09:09:20Z)
Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文参考訳（メタデータ） (2020-12-09T20:19:32Z)
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文参考訳（メタデータ） (2020-10-31T21:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。