Fugu-MT 論文翻訳(概要): CBP: Backpropagation with constraint on weight precision using a pseudo-Lagrange multiplier method

論文の概要: CBP: Backpropagation with constraint on weight precision using a pseudo-Lagrange multiplier method

arxiv url: http://arxiv.org/abs/2110.02550v1
Date: Wed, 6 Oct 2021 07:43:47 GMT
ステータス: 処理完了
システム内更新日: 2021-10-08 03:04:46.086787
Title: CBP: Backpropagation with constraint on weight precision using a pseudo-Lagrange multiplier method
Title（参考訳）: cbp:pseudo-lagrange multiplier法による重量精度制約付きバックプロパゲーション
Authors: Guhyun Kim, Doo Seok Jeong
Abstract要約: バックプロパゲーション(バックプロパゲーション)は、重みとバイアスの最適なセットを特定することによって、ディープニューラルネットワークの目的関数(例えば損失関数)を最小化する手法である。重み付けの精度に制約を加えることは、ハードウェア上の禁止されたワークロードを軽減するためにしばしば必要となる。本稿では,制約の集合を満たす最適な重みの集合を得るために,擬ラグランジュ乗算法に基づく制約付きバックプロパゲーション(CBP)アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 0.4061135251278187
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Backward propagation of errors (backpropagation) is a method to minimize objective functions (e.g., loss functions) of deep neural networks by identifying optimal sets of weights and biases. Imposing constraints on weight precision is often required to alleviate prohibitive workloads on hardware. Despite the remarkable success of backpropagation, the algorithm itself is not capable of considering such constraints unless additional algorithms are applied simultaneously. To address this issue, we propose the constrained backpropagation (CBP) algorithm based on a pseudo-Lagrange multiplier method to obtain the optimal set of weights that satisfy a given set of constraints. The defining characteristic of the proposed CBP algorithm is the utilization of a Lagrangian function (loss function plus constraint function) as its objective function. We considered various types of constraints--binary, ternary, one-bit shift, and two-bit shift weight constraints. As a post-training method, CBP applied to AlexNet, ResNet-18, ResNet-50, and GoogLeNet on ImageNet, which were pre-trained using the conventional backpropagation. For all cases, the proposed algorithm outperforms the state-of-the-art methods on ImageNet, e.g., 66.6%, 74.4%, and 64.0% top-1 accuracy for ResNet-18, ResNet-50, and GoogLeNet with binary weights, respectively. This highlights CBP as a learning algorithm to address diverse constraints with the minimal performance loss by employing appropriate constraint functions.
Abstract（参考訳）: 誤差の後方伝播(バックプロパゲーション)は、重みとバイアスの最適な集合を同定することでディープニューラルネットワークの目的関数(損失関数など)を最小化する手法である。重み付けの精度に制約を加えることは、ハードウェア上の禁止されたワークロードを軽減するためにしばしば必要となる。バックプロパゲーションの顕著な成功にもかかわらず、アルゴリズム自体は、追加のアルゴリズムを同時に適用しなければ、そのような制約を考慮できない。この問題に対処するために,擬似ラグランジュ乗算法に基づく制約付きバックプロパゲーション(CBP)アルゴリズムを提案する。提案したCBPアルゴリズムの定義特性は,ラグランジアン関数(ロス関数と制約関数)を目的関数として利用することである。我々は,2進,3進,1ビットシフト,2ビットシフト重み制約といった様々な制約を検討した。ポストトレーニング方法として、従来のバックプロパゲーションを用いて事前トレーニングされたImageNet上のAlexNet、ResNet-18、ResNet-50、GoogLeNetに適用した。いずれの場合も、提案アルゴリズムはImageNetの最先端の手法、例えば、ResNet-18、ResNet-50、GoogLeNetの66.6%、74.4%、64.0%のTop-1精度を2重みで上回っている。これはcbpを学習アルゴリズムとして強調し、適切な制約関数を使用することで、パフォーマンスの損失を最小限に抑えることができる。

関連論文リスト

Best-of-Both-Worlds Policy Optimization for CMDPs with Bandit Feedback [34.7178680288326]
Stradi et al.(2024) は、マルコフ決定過程に制約のある最初のベスト・オブ・ボス・ワールドズ・アルゴリズムを提案した。本稿では,CMDPにおける帯域幅フィードバックを用いたベスト・オブ・ワールドズ・アルゴリズムを提案する。本アルゴリズムは政策最適化手法に基づいており, 占有率に基づく手法よりも効率的である。
論文参考訳（メタデータ） (2024-10-03T07:44:40Z)
A Penalty-Based Guardrail Algorithm for Non-Decreasing Optimization with Inequality Constraints [1.5498250598583487]
伝統的な数学的プログラミングの解法は制約付き最小化問題を解くのに長い計算時間を必要とする。ペナルティに基づくガードレールアルゴリズム(PGA)を提案する。
論文参考訳（メタデータ） (2024-05-03T10:37:34Z)
Power Control with QoS Guarantees: A Differentiable Projection-based Unsupervised Learning Framework [14.518558523319518]
NPハード無線リソース割り当て問題を解決する潜在的なソリューションとして、ディープニューラルネットワーク(DNN)が登場している。マルチユーザチャネルにおける古典的電力制御問題を解決するために,教師なし学習フレームワークを提案する。提案手法は,データレートを向上するだけでなく,既存の計算に比べて制約違反の確率をゼロにすることを示す。
論文参考訳（メタデータ） (2023-05-31T14:11:51Z)
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-13T02:14:42Z)
Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文参考訳（メタデータ） (2023-02-01T08:50:48Z)
Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs) [1.7403133838762446]
物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)の解の強力な近似器である PINN(AL-PINN)のための拡張ラグランジアン緩和法を提案する。 AL-PINNは、最先端の適応的損失分散アルゴリズムと比較して、相対誤差がはるかに小さいことを様々な数値実験で示している。
論文参考訳（メタデータ） (2022-04-29T08:33:11Z)
Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
論文参考訳（メタデータ） (2021-11-09T09:00:02Z)
Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文参考訳（メタデータ） (2021-04-14T09:22:42Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)
Aligning Partially Overlapping Point Sets: an Inner Approximation Algorithm [80.15123031136564]
変換の値に関する事前情報がない点集合を整列するロバストな手法を提案する。我々のアルゴリズムは変換の正規化を必要とせず、変換の値に関する事前情報がない状況に対処できる。実験により,提案手法が最先端のアルゴリズムよりも高いロバスト性を示した。
論文参考訳（メタデータ） (2020-07-05T15:23:33Z)
Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。ラグランジアン分解に基づく新しい手法を提案する。ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
論文参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。