論文の概要: AURA: Angular Update Rate Adaptation for training complex-valued neural networks

• arxiv url: http://arxiv.org/abs/2609.25914v1
• Date: Tue, 22 Sep 2026 09:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.308087
• Title: AURA: Angular Update Rate Adaptation for training complex-valued neural networks
• Title（参考訳）: AURA: 複雑な評価ニューラルネットワークのトレーニングのためのAngular Update Rate Adaptation
• Abstract要約: 複素値ニューラルネットワーク(CVNN)は、複素値データにますます採用されている。 これらの手法の効率はステップサイズに大きく依存しており、それらのステップサイズルールは複素平面で利用可能な角情報を無視している。 我々は、AURA(Angular Update Rate)を導入して、複雑な領域におけるステップサイズ適応に対処する。 AURAは、各複雑なパラメータの連続的な更新、長さ、アライメント、回転感覚の一致を計測し、一貫性のある場合にはステップを拡大し、そうでない場合はステップを縮小する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Complex-valued neural networks (CVNNs) are increasingly adopted for complex-valued data; however, they are often trained with first-order optimizers inherited from the real-valued case. The efficiency of these methods depends largely on the step size, and their step-size rules ignore the angular information available in the complex plane. We address step-size adaptation in the complex domain by introducing AURA (Angular Update Rate Adaptation), a per-parameter step-size adaptation that can be added on top of any first-order optimizer, and removed from it, without altering its update direction. AURA measures the agreement between consecutive updates of each complex parameter, in length, alignment, and sense of rotation, and enlarges the step when they are consistent and reduces it when they are not. It requires no additional gradient evaluations and only inexpensive vector operations per step. We combine AURA with Adam and Muon and compare the resulting methods with well-known first-order optimizers on four test cases of increasing complexity, ranging from the approximation of scalar complex functions to physics-informed training. Fully connected neural networks are used throughout this work. All hyperparameters other than the step size are held fixed across test cases; for one case, we also tune the hyperparameters of each optimizer under the same budget. Our empirical tests show that AURA improves the convergence of its base optimizer in most cases with a small per-step overhead, and we identify the conditions under which it fails to do so.
• Abstract（参考訳）: 複素値ニューラルネットワーク(CVNN)は、複素値データにますます採用されているが、実値データから継承した一階最適化器を用いて訓練されることも多い。 これらの手法の効率はステップサイズに大きく依存しており、ステップサイズルールは複素平面で利用可能な角情報を無視している。 AURA(Angular Update Rate Adaptation)は,任意の1次オプティマイザ上に,更新方向を変更することなく追加可能な,パラメータ単位のステップサイズ適応である。 AURAは、各複雑なパラメータの連続的な更新、長さ、アライメント、回転感覚の一致を測定し、一貫性のある場合にはステップを拡大し、そうでない場合はステップを縮小する。 追加の勾配評価や1ステップあたりの安価なベクトル演算は不要である。 我々は、AURAとAdamとMuonを組み合わせることで、スカラー複素関数の近似から物理インフォームドトレーニングまで、複雑さが増大する4つのテストケースにおいて、よく知られた1次オプティマイザと比較する。 この作業を通じて、完全に接続されたニューラルネットワークが使用されます。 ステップサイズ以外のすべてのハイパーパラメータは、テストケース間で固定されます。 実験により、AURAは、ほとんどの場合、ステップごとのオーバーヘッドが小さいため、ベースオプティマイザの収束性を改善することが示され、その際の条件を特定します。

関連論文リスト

• Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
  ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。 PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。 得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
  論文  参考訳（メタデータ） (2025-12-01T02:52:33Z)
• Bilevel Learning via Inexact Stochastic Gradient Descent [5.312803257246881]
  バイレベル最適化は、高次元ハイパーチューニングのための機械学習の中心的なツールである。 両レベル最適化の不正確な理論を推し進める。 我々は収束を証明し、減衰精度とステップサイズスケジュールでレートを確立する。
  論文  参考訳（メタデータ） (2025-11-10T07:02:52Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Painless step size adaptation for SGD [0.0]
  収束と一般化は、ニューラルネットワークのパフォーマンスの重要な側面である。 テストの収束と一般化を明示的に規定する4つの構成を持つLIGHT関数を提案する。
  論文  参考訳（メタデータ） (2021-02-01T14:05:41Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously [0.0]
  一般化は機械学習における中心的な問題である。 本稿では,新たなリスク尺度に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T18:04:36Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。