論文の概要: Scalable Thermodynamic Second-order Optimization

• arxiv url: http://arxiv.org/abs/2502.08603v1
• Date: Wed, 12 Feb 2025 17:44:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:44:46.099470
• Title: Scalable Thermodynamic Second-order Optimization
• Title（参考訳）: スケーラブル熱力学2次最適化
• Authors: Kaelan Donatella, Samuel Duffield, Denis Melanson, Maxwell Aifer, Phoebe Klett, Rajath Salegame, Zach Belateche, Gavin Crooks, Antonio J. Martinez, Patrick J. Coles,
• Abstract要約: 我々は、K-FAC(Kron-ed approximate curvature)と呼ばれる2階熱力学曲線の高速化にコンピュータを利用するスケーラブルなアルゴリズムを提案する。 数値実験により、有意な量子化雑音下であっても、二階最適化の利点を保存できることが示されている。 我々は,現実的なハードウェア特性に基づいて,大規模ビジョンとグラフ問題に対する大幅な高速化を予測した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Many hardware proposals have aimed to accelerate inference in AI workloads. Less attention has been paid to hardware acceleration of training, despite the enormous societal impact of rapid training of AI models. Physics-based computers, such as thermodynamic computers, offer an efficient means to solve key primitives in AI training algorithms. Optimizers that normally would be computationally out-of-reach (e.g., due to expensive matrix inversions) on digital hardware could be unlocked with physics-based hardware. In this work, we propose a scalable algorithm for employing thermodynamic computers to accelerate a popular second-order optimizer called Kronecker-factored approximate curvature (K-FAC). Our asymptotic complexity analysis predicts increasing advantage with our algorithm as $n$, the number of neurons per layer, increases. Numerical experiments show that even under significant quantization noise, the benefits of second-order optimization can be preserved. Finally, we predict substantial speedups for large-scale vision and graph problems based on realistic hardware characteristics.
• Abstract（参考訳）: 多くのハードウェア提案は、AIワークロードの推論を加速することを目的としている。 AIモデルの迅速なトレーニングによる社会的影響にもかかわらず、トレーニングのハードウェアアクセラレーションにはあまり注意が払われていない。 熱力学コンピュータのような物理ベースのコンピュータは、AIトレーニングアルゴリズムにおいて重要なプリミティブを解決する効率的な手段を提供する。 デジタルハードウェア上での計算外(例えば高価な行列の逆転のため)の最適化は、物理ベースのハードウェアでアンロックできる。 そこで本研究では, Kronecker-factored approximate curvature (K-FAC) と呼ばれる2階オプティマイザを高速化するために, 熱力学コンピュータを用いたスケーラブルなアルゴリズムを提案する。 我々の漸近的複雑性分析は、層当たりのニューロン数である$n$が増加するにつれて、我々のアルゴリズムの利点が増大すると予想する。 数値実験により、有意な量子化雑音下であっても、二階最適化の利点を保存できることが示されている。 最後に,現実的なハードウェア特性に基づいて,大規模ビジョンやグラフ問題に対する大幅な高速化を予測した。

関連論文リスト

• Dynamic Range Reduction via Branch-and-Bound [1.533133219129073]
  ハードウェアアクセラレーターを強化するための主要な戦略は、算術演算における精度の低下である。 本稿ではQUBO問題における精度向上のための完全原理分岐境界アルゴリズムを提案する。 実験は、実際の量子アニール上でのアルゴリズムの有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-17T03:07:56Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Fast Numerical Solver of Ising Optimization Problems via Pruning and Domain Selection [4.460518115427853]
  本稿では,Ising最適化問題に対する高速かつ効率的な解法を提案する。 我々の解法は古典的解法よりも桁違いに高速で、量子インスパイアされたアニールよりも少なくとも2倍高速である。
  論文  参考訳（メタデータ） (2023-12-10T09:43:15Z)
• Thermodynamic Computing System for AI Applications [0.0]
  熱力学計算のような物理ベースのハードウェアは、AIプリミティブを加速する高速で低消費電力の手段を提供する可能性がある。 処理ユニット(SPU)と呼ばれる最初の連続可変熱力学コンピュータを提示する。
  論文  参考訳（メタデータ） (2023-12-08T05:22:04Z)
• Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
  AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。 有望な解決策の1つは、アナログコンピューティングを再考することである。 ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
  論文  参考訳（メタデータ） (2023-11-13T08:59:01Z)
• Towards provably efficient quantum algorithms for large-scale machine-learning models [11.440134080370811]
  我々は、フォールトトレラントな量子コンピューティングが、一般的な(確率的な)勾配降下アルゴリズムに対して、証明可能な効率のよい解決を提供する可能性を示している。 700万から1億3300万のパラメータから、大規模な機械学習モデルのインスタンスをベンチマークします。
  論文  参考訳（メタデータ） (2023-03-06T19:00:27Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Thermodynamic AI and the fluctuation frontier [0.0]
  多くの人工知能(AI)アルゴリズムは物理学にインスパイアされ、ゆらぎを用いる。 ソフトウェアとハードウェアが分離不能になる新しい計算パラダイムを提案する。 離散的かつ連続的な熱力学AIハードウェアのための各ビルディングブロックとして、ビット(sビット)とモード(sモード)を識別する。
  論文  参考訳（メタデータ） (2023-02-09T17:18:36Z)
• Variational Quantum Optimization with Multi-Basis Encodings [62.72309460291971]
  マルチバスグラフ複雑性と非線形活性化関数の2つの革新の恩恵を受ける新しい変分量子アルゴリズムを導入する。 その結果,最適化性能が向上し,有効景観が2つ向上し,測定の進歩が減少した。
  論文  参考訳（メタデータ） (2021-06-24T20:16:02Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。