Fugu-MT 論文翻訳(概要): Mixed Newton Method for Optimization in Complex Spaces

論文の概要: Mixed Newton Method for Optimization in Complex Spaces

arxiv url: http://arxiv.org/abs/2407.20367v2
Date: Wed, 13 Nov 2024 20:29:35 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-15 15:21:36.071529
Title: Mixed Newton Method for Optimization in Complex Spaces
Title（参考訳）: 複合空間における混合ニュートン法による最適化
Authors: Nikita Yudin, Roland Hildebrand, Sergey Bakhurin, Alexander Degtyarev, Anna Lisachenko, Ilya Kuruzov, Andrei Semenov, Mohammad Alkousa,
Abstract要約: 任意の正則化は混合ニュートン法の良好な局所収束特性を保っていることを示す。ニューラルネットワークを実数パラメータと複素数パラメータで訓練するために適用したいくつかの変種を比較した。
参考スコア（独自算出の注目度）: 32.73124984242397
License:
Abstract: In this paper, we modify and apply the recently introduced Mixed Newton Method, which is originally designed for minimizing real-valued functions of complex variables, to the minimization of real-valued functions of real variables by extending the functions to complex space. We show that arbitrary regularizations preserve the favorable local convergence properties of the method, and construct a special type of regularization used to prevent convergence to complex minima. We compare several variants of the method applied to training neural networks with real and complex parameters.
Abstract（参考訳）: 本稿では,複素変数の実数値関数の最小化を目的としたMixed Newton Methodを,関数を複素空間に拡張して実変数の実数値関数の最小化に適用する。任意の正則化は手法の好適な局所収束特性を保ち、複素ミニマへの収束を防止するために用いられる特別なタイプの正則化を構成することを示す。ニューラルネットワークを実数パラメータと複素数パラメータで訓練するために適用したいくつかの変種を比較した。

関連論文リスト

The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
連続状態と行動空間を持つ非線形力学系に対するオンライン強化学習のサンプル複雑性について検討した。我々のアルゴリズムは、その単純さ、事前知識を組み込む能力、そして良心的な過渡的行動のために、実際に有用である可能性が高い。
論文参考訳（メタデータ） (2025-01-27T10:01:28Z)
Extension of Symmetrized Neural Network Operators with Fractional and Mixed Activation Functions [0.0]
本稿では, 分数および混合活性化関数を組み込むことにより, 対称性を持つニューラルネットワーク演算子への新たな拡張を提案する。本フレームワークでは、アクティベーション関数に分数指数を導入し、適応的な非線形近似を精度良く実現する。
論文参考訳（メタデータ） (2025-01-17T14:24:25Z)
Mapping-to-Parameter Nonlinear Functional Regression with Novel B-spline Free Knot Placement Algorithm [12.491024918270824]
非線形機能回帰に対する新しいアプローチを提案する。このモデルは無限次元関数空間から有限次元パラメータ空間への関数データのマッピングに基づいている。結び目配置アルゴリズムの性能は, 単一関数近似と多関数近似の両方において堅牢であることが示されている。
論文参考訳（メタデータ） (2024-01-26T16:35:48Z)
Minimizing Quasi-Self-Concordant Functions by Gradient Regularization of Newton Method [4.62316736194615]
準自己調和平滑成分を用いた複合凸最適化問題について検討する。この問題クラスは、古典的な自己調和函数とリプシッツ連続ヘッセン函数の間に自然に補間する。準自己協和関数を最小化するためには、グラディエント正規化を伴う基本ニュートン法を用いることができる。
論文参考訳（メタデータ） (2023-08-28T17:43:04Z)
Adaptive pruning-based Newton's method for distributed learning [14.885388389215587]
本稿では,分散適応ニュートン学習(textttDANL)という,新規で効率的なアルゴリズムを提案する。 textttDANLは、利用可能なリソースに効率よく適応し、高い効率を維持しながら、線形収束率を達成する。実験により、textttDANLは、効率的な通信と異なるデータセット間の強い性能で線形収束を実現することが示された。
論文参考訳（メタデータ） (2023-08-20T04:01:30Z)
Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-08-18T14:57:21Z)
Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。予測と高い確率で、新しい過剰なリスク境界を提供する。我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
論文参考訳（メタデータ） (2022-11-03T12:40:24Z)
Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文参考訳（メタデータ） (2022-07-02T10:00:35Z)
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文参考訳（メタデータ） (2021-10-20T02:25:25Z)
Tractable structured natural gradient descent using local parameterizations [43.51581051770027]
構造化パラメータ空間上の自然勾配降下は、複雑な逆フィッシャー行列計算により計算的に困難である。我々は, emphlocal-パラメータ座標を用いてこの問題に対処する。我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。
論文参考訳（メタデータ） (2021-02-15T09:09:20Z)
Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文参考訳（メタデータ） (2020-12-09T20:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。