Fugu-MT 論文翻訳(概要): Efficient Numerical Algorithm for Large-Scale Damped Natural Gradient Descent

論文の概要: Efficient Numerical Algorithm for Large-Scale Damped Natural Gradient Descent

arxiv url: http://arxiv.org/abs/2310.17556v1
Date: Thu, 26 Oct 2023 16:46:13 GMT
ステータス: 処理完了
システム内更新日: 2023-10-27 19:08:43.889588
Title: Efficient Numerical Algorithm for Large-Scale Damped Natural Gradient Descent
Title（参考訳）: 大規模減衰自然勾配の高効率数値解法
Authors: Yixiao Chen, Hao Xie, Han Wang
Abstract要約: 本研究では,パラメータ数が利用可能なサンプル数を大幅に上回る大規模シナリオにおいて,減衰したフィッシャー行列を効率的に解くアルゴリズムを提案する。アルゴリズムはColesky分解に基づいており、一般に適用可能である。ベンチマークの結果、既存の手法よりもかなり高速であることが示されている。
参考スコア（独自算出の注目度）: 7.368877979221163
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new algorithm for efficiently solving the damped Fisher matrix in large-scale scenarios where the number of parameters significantly exceeds the number of available samples. This problem is fundamental for natural gradient descent and stochastic reconfiguration. Our algorithm is based on Cholesky decomposition and is generally applicable. Benchmark results show that the algorithm is significantly faster than existing methods.
Abstract（参考訳）: 本研究では,パラメータ数が利用可能なサンプル数を大幅に上回る大規模シナリオにおいて,減衰したフィッシャー行列を効率的に解くアルゴリズムを提案する。この問題は自然勾配降下と確率的再構成の基礎である。本アルゴリズムはコレスキー分解に基づいており,一般に適用可能である。ベンチマークの結果,アルゴリズムは既存の手法よりもかなり高速であることがわかった。

関連論文リスト

A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
論文参考訳（メタデータ） (2024-09-07T06:37:23Z)
Equitable and Fair Performance Evaluation of Whale Optimization Algorithm [4.0814527055582746]
すべてのアルゴリズムは、徹底的に、幾分、知的に評価されることが不可欠である。最適化アルゴリズムの有効性を等しく、公平に評価することは、様々な理由から簡単なプロセスではない。
論文参考訳（メタデータ） (2023-09-04T06:32:02Z)
Best-Subset Selection in Generalized Linear Models: A Fast and Consistent Algorithm via Splicing Technique [0.6338047104436422]
ベストサブセットセクションは、このタイプの問題の聖杯として広く見なされている。軽度条件下での最適部分集合回復のためのアルゴリズムを提案し,提案した。我々の実装は、一般的な変数選択ツールキットと比較して約4倍のスピードアップを実現している。
論文参考訳（メタデータ） (2023-08-01T03:11:31Z)
Learning the Positions in CountSketch [49.57951567374372]
本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。本研究では,ゼロでないエントリの位置を最適化する学習ベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-11T07:28:35Z)
An Algebraically Converging Stochastic Gradient Descent Algorithm for Global Optimization [14.336473214524663]
アルゴリズムの主要な構成要素は、目的関数の値に基づくランダム性である。アルゴリズムの収束を代数学で証明し、パラメータ空間でチューニングする。アルゴリズムの効率性とロバスト性を示す数値的な例をいくつか提示する。
論文参考訳（メタデータ） (2022-04-12T16:27:49Z)
Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-22T17:21:56Z)
Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。両レベル最適化のための2つの新しいアルゴリズムを提案する。両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
論文参考訳（メタデータ） (2021-06-08T21:05:30Z)
Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-01-07T08:00:02Z)
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。本研究の結果は, 同時一次および二重側収束の形で表される。
論文参考訳（メタデータ） (2020-08-23T20:36:49Z)
Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
論文参考訳（メタデータ） (2020-07-01T18:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。