Fugu-MT 論文翻訳(概要): H-Fac: Memory-Efficient Optimization with Factorized Hamiltonian Descent

論文の概要: H-Fac: Memory-Efficient Optimization with Factorized Hamiltonian Descent

arxiv url: http://arxiv.org/abs/2406.09958v1
Date: Fri, 14 Jun 2024 12:05:17 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 13:55:15.669693
Title: H-Fac: Memory-Efficient Optimization with Factorized Hamiltonian Descent
Title（参考訳）: H-Fac:Factized Hamiltonian Descentによるメモリ効率の最適化
Authors: Son Nguyen, Lizhang Chen, Bo Liu, Qiang Liu,
Abstract要約: モーメントとスケーリングパラメータに対する因子的アプローチを取り入れたH-Facを開発した。提案アルゴリズムは,ResNetとVision Transformerの競合性能を示す。これらの最適化アルゴリズムは、単純で適応性があり、多様な設定で容易に実装できるように設計されている。
参考スコア（独自算出の注目度）: 11.01832755213396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this study, we introduce a novel adaptive optimizer, H-Fac, which incorporates a factorized approach to momentum and scaling parameters. Our algorithm demonstrates competitive performances on both ResNets and Vision Transformers, while achieving sublinear memory costs through the use of rank-1 parameterizations for moment estimators. We develop our algorithms based on principles derived from Hamiltonian dynamics, providing robust theoretical underpinnings. These optimization algorithms are designed to be both straightforward and adaptable, facilitating easy implementation in diverse settings.
Abstract（参考訳）: 本研究では,モーメントとスケーリングパラメータに対する因子的アプローチを取り入れた適応最適化器H-Facを提案する。本稿では,ResNetとVision Transformerの競合性能を示すとともに,モーメント推定器のランク1パラメータ化によるサブ線形メモリコストを実現する。我々はハミルトン力学の原理に基づいてアルゴリズムを開発し、ロバストな理論的基盤を提供する。これらの最適化アルゴリズムは、単純で適応性があり、多様な設定で容易に実装できるように設計されている。

関連論文リスト

Efficient Inverse Design Optimization through Multi-fidelity Simulations, Machine Learning, and Search Space Reduction Strategies [0.8646443773218541]
本稿では,限られた計算量で制約されたシナリオにおける逆設計最適化プロセスの拡張を目的とした手法を提案する。提案手法はエアフォイル逆設計とスカラーフィールド再構成の2つの異なる工学的逆設計問題について解析する。特に、この方法は、任意の逆設計アプリケーションに適用可能であり、代表的低忠実MLモデルと高忠実度シミュレーションの相乗効果を容易にし、様々な集団ベース最適化アルゴリズムにシームレスに適用することができる。
論文参考訳（メタデータ） (2023-12-06T18:20:46Z)
Hybrid GRU-CNN Bilinear Parameters Initialization for Quantum Approximate Optimization Algorithm [7.502733639318316]
本稿では, Gated Recurrent Units (GRU), Conal Neural Networks (CNN), and a bilinear strategy as an innovative alternative to conventional approximation for predicting optimal parameters of QAOA circuits。我々は、GRU-CNN最適化から得られた参照パラメータを用いて、より深い深さでQAOA回路パラメータに初期化するための双線形戦略を用いる。
論文参考訳（メタデータ） (2023-11-14T03:00:39Z)
Ensemble-based Hybrid Optimization of Bayesian Neural Networks and Traditional Machine Learning Algorithms [0.0]
本研究では、ランダムフォレスト(RF)、グラディエントブースティング(GB)、サポートベクトルマシン(SVM)といった従来の機械学習アルゴリズムと相乗的に統合することにより、ベイズニューラルネットワーク(BNN)を最適化する新しい手法を提案する。特徴積分は、ヘッセン行列の定常性や正定性を含む最適性に対する二階条件を強調することによってこれらの結果を固化する。全体として、アンサンブル法は堅牢でアルゴリズム的に最適化されたアプローチとして際立っている。
論文参考訳（メタデータ） (2023-10-09T06:59:17Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Meta-Learning Digitized-Counterdiabatic Quantum Optimization [3.0638256603183054]
本稿では,リカレントニューラルネットワークを用いたメタラーニング手法を用いて,変分最適化に適した初期パラメータを求める問題に取り組む。我々は、最近提案されたディジタル化対数量子近似アルゴリズム(DC-QAOA)を用いて、この手法について検討する。メタラーニングとDC-QAOAを組み合わせることで、MaxCut問題やSherrington-Kirkpatrickモデルなど、異なるモデルに対する最適な初期パラメータを見つけることができる。
論文参考訳（メタデータ） (2022-06-20T18:57:50Z)
Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文参考訳（メタデータ） (2021-02-07T20:53:23Z)
Particle Swarm Optimization: Fundamental Study and its Application to Optimization and to Jetty Scheduling Problems [0.0]
従来の手法に関する進化的アルゴリズムの利点は、文献で大いに議論されている。粒子群はそのような利点を共有しているが、計算コストの低減と実装の容易さが要求されるため、進化的アルゴリズムよりも優れている。本論文は, それらのチューニングについて検討するものではなく, 従来の研究から汎用的な設定を抽出し, 様々な問題を最適化するために, 事実上同じアルゴリズムを用いている。
論文参考訳（メタデータ） (2021-01-25T02:06:30Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)
Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文参考訳（メタデータ） (2020-10-01T18:14:11Z)
A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文参考訳（メタデータ） (2020-06-23T01:34:18Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。