論文の概要: Gradient-Free Training of Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2410.09734v2
• Date: Mon, 29 Sep 2025 08:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.716056
• Title: Gradient-Free Training of Quantized Neural Networks
• Title（参考訳）: 量子化ニューラルネットワークのグラディエントフリートレーニング
• Authors: Noa Cohen, Omkar Joglekar, Dotan Di Castro, Vladimir Tchuiev, Shir Kozlovsky, Michal Moshkovitz,
• Abstract要約: ニューラルネットワークのトレーニングには、かなりの計算資源とエネルギーが必要である。 混合精度と量子化学習はビット使用量を減少させるが、計算コストの高い勾配に基づく最適化に大きく依存している。 我々は、勾配を完全に排除するパラダイムシフトを提案する。
• 参考スコア（独自算出の注目度）: 9.348959582516438
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training neural networks requires significant computational resources and energy. Methods like mixed-precision and quantization-aware training reduce bit usage, yet they still depend heavily on computationally expensive gradient-based optimization. In this work, we propose a paradigm shift: eliminate gradients altogether. One might hope that, in a finite quantized space, finding optimal weights with out gradients would be easier but we theoretically prove that this problem is NP-hard even in simple settings where the continuous case is efficiently solvable. To address this, we introduce a novel heuristic optimization framework that avoids full weight updates and significantly improves efficiency. Empirically, our method achieves performance comparable to that of full-precision gradient-based training on standard datasets and architectures, while using up to 3x less energy and requiring up to 5x fewer parameter updates.
• Abstract（参考訳）: ニューラルネットワークのトレーニングには、かなりの計算資源とエネルギーが必要である。 混合精度や量子化学習のような手法はビット使用量を減少させるが、計算コストの高い勾配ベースの最適化に大きく依存している。 本研究では,勾配を完全に排除するパラダイムシフトを提案する。 有限量子化された空間では、勾配を外した最適な重みを見つけることは容易であるが、連続ケースが効率的に解けるような単純な設定であっても、この問題がNPハードであることは理論的に証明できる。 そこで本研究では,全重量更新を回避し,効率を大幅に向上する新しいヒューリスティック最適化フレームワークを提案する。 提案手法は,最大3倍のエネルギーを消費し,最大5倍のパラメータ更新を必要としながら,標準データセットやアーキテクチャ上での完全精度勾配に基づくトレーニングに匹敵する性能を実現する。

関連論文リスト

• Training of Spiking Neural Networks with Expectation-Propagation [9.24888258922809]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための統一メッセージパッシングフレームワークを提案する。 本手法は,ネットワークパラメータの辺り分布を学習し,隠れ層の出力などのパラメータの辺縁化を同時に行うことができる。
  論文  参考訳（メタデータ） (2025-06-30T11:59:56Z)
• Sparks of Quantum Advantage and Rapid Retraining in Machine Learning [0.0]
  本研究では、最小パラメータで複雑な関数を表現するために、強力なニューラルネットワークアーキテクチャを最適化する。 高速再トレーニング機能を導入し、古いサンプルを再処理することなく、ネットワークを新しいデータで再トレーニングできるようにする。 量子ハードウェアとアルゴリズム最適化のさらなる進歩により、量子最適化機械学習モデルが幅広い応用をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-22T19:55:44Z)
• Approximation and Gradient Descent Training with Neural Networks [0.0]
  最近の研究は、ニューラル・タンジェント・カーネル(NTK)最適化の議論を過度にパラメータ化された状態に拡張している。 本稿では,勾配降下法により学習したネットワークの類似性を示す。
  論文  参考訳（メタデータ） (2024-05-19T23:04:09Z)
• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
  ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:48:08Z)
• Efficient Neural PDE-Solvers using Quantization Aware Training [71.0934372968972]
  量子化は、性能を維持しながら推論の計算コストを下げることができることを示す。 4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T09:21:19Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Improving Gradient Methods via Coordinate Transformations: Applications to Quantum Machine Learning [0.0]
  機械学習アルゴリズムは勾配降下などの勾配に基づく最適化アルゴリズムに大きく依存している。 全体的な性能は、局所的なミニマと不毛の高原の出現に依存する。 本稿では,これらの手法の全般的な性能向上を図り,バレンプラトー効果と局所ミニマ効果を緩和する汎用戦略を提案する。
  論文  参考訳（メタデータ） (2023-04-13T18:26:05Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Combinatorial optimization for low bit-width neural networks [23.466606660363016]
  低ビット幅のニューラルネットワークは、計算資源を減らすためにエッジデバイスに展開するために広く研究されている。 既存のアプローチでは、2段階の列車・圧縮設定における勾配に基づく最適化に焦点が当てられている。 グリーディ座標降下法とこの新しい手法を組み合わせることで、二項分類タスクにおける競合精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-04T15:02:36Z)
• Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
  最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。 モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。 この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
  論文  参考訳（メタデータ） (2022-05-17T05:37:08Z)
• neos: End-to-End-Optimised Summary Statistics for High Energy Physics [0.0]
  ディープラーニングは、計算の勾配を自動的に計算する強力なツールを提供する。 これは、ニューラルネットワークのトレーニングが、勾配降下を使ってパラメータを反復的に更新し、損失関数の最小値を求めるためである。 ディープラーニングはより広範なパラダイムのサブセットであり、エンドツーエンドで最適化可能な自由なパラメータを備えたワークフローである。
  論文  参考訳（メタデータ） (2022-03-10T14:08:05Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Efficient Neural Network Training via Forward and Backward Propagation Sparsification [26.301103403328312]
  本研究では, 完全スパース前方・後方パスを用いた効率的なスパーストレーニング手法を提案する。 私たちのアルゴリズムは、トレーニングプロセスを最大で桁違いに高速化する上で、はるかに効果的です。
  論文  参考訳（メタデータ） (2021-11-10T13:49:47Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Universality of Gradient Descent Neural Network Training [0.0]
  ニューラルネットワークの再設計が常に可能であるかどうかを議論する。 この構造は実用的な計算を目的としていないが、メタラーニングと関連するアプローチの可能性についてある程度の方向性を提供する。
  論文  参考訳（メタデータ） (2020-07-27T16:17:19Z)
• Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
  重みの符号を反転させてネットワークを訓練する新しい方法を提案する。 重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
  論文  参考訳（メタデータ） (2020-06-30T09:41:18Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。