Fugu-MT 論文翻訳(概要): Fuzzy hyperparameters update in a second order optimization

論文の概要: Fuzzy hyperparameters update in a second order optimization

arxiv url: http://arxiv.org/abs/2403.15416v1
Date: Fri, 8 Mar 2024 07:47:27 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 03:04:05.195919
Title: Fuzzy hyperparameters update in a second order optimization
Title（参考訳）: ファジィハイパーパラメータの2次最適化による更新
Authors: Abdelaziz Bensadok, Muhammad Zeeshan Babar,
Abstract要約: 対角ヘッセン行列のオンライン有限差分近似を導入し、いくつかのハイパーパラメータをファジィ推論する。競争の結果が得られた。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This research will present a hybrid approach to accelerate convergence in a second order optimization. An online finite difference approximation of the diagonal Hessian matrix will be introduced, along with fuzzy inferencing of several hyperparameters. Competitive results have been achieved
Abstract（参考訳）: 本研究は,2次最適化における収束促進のためのハイブリッドアプローチを提案する。対角ヘッセン行列のオンライン有限差分近似を導入し、ファジィないくつかのハイパーパラメータを参照する。競争力のある結果が得られました

関連論文リスト

On the Parameterization of Second-Order Optimization Effective Towards the Infinite Width [5.217870815854702]
特徴学習を安定的に促進する2次最適化のための特定のパラメータ化を同定する。最大更新パラメータ化にインスパイアされ、勾配の一段階更新を考える。提案手法では,K-FAC と Shampoo の2次最適化アルゴリズムについて述べる。
論文参考訳（メタデータ） (2023-12-19T15:12:39Z)
Continuation Path with Linear Convergence Rate [18.405645120971496]
経路追従アルゴリズムは、一連のサブプロブレムを順次解決する合成最適化問題によく用いられる。本稿では,経路追従アルゴリズムの一次双対解析と,対象問題に対する線形収束率を保証するために,各サブプロブレムがどの程度正確に解けるかを決定する。スパーシリティ誘導ペナルティによる最適化を考慮し、正規化パラメータに対するアクティブセットの変化を分析する。
論文参考訳（メタデータ） (2021-12-09T18:42:13Z)
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
論文参考訳（メタデータ） (2021-12-08T02:34:43Z)
Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。基本的に無視可能なコストで、同時に分散を低減することができる。
論文参考訳（メタデータ） (2021-07-01T06:43:11Z)
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文参考訳（メタデータ） (2021-05-04T17:31:28Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
Acceleration Methods [57.202881673406324]
まず2次最適化問題を用いて加速法を2つ導入する。我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
論文参考訳（メタデータ） (2021-01-23T17:58:25Z)
Primal-Dual Sequential Subspace Optimization for Saddle-point Problems [3.9582154141918964]
大規模サドル点問題に対する逐次部分空間最適化手法を提案する。低次元部分空間における補助的サドル点問題(英語版)を、原始整数双対変数上の一階情報から導かれる方向によって解決する。実験結果は、一般的な一階法と比較して、かなり良い収束性を示した。
論文参考訳（メタデータ） (2020-08-20T18:19:19Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。