Fugu-MT 論文翻訳(概要): RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks

論文の概要: RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks

arxiv url: http://arxiv.org/abs/2001.01091v1
Date: Sat, 4 Jan 2020 15:56:10 GMT
ステータス: 処理完了
システム内更新日: 2023-01-14 12:48:30.583948
Title: RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks
Title（参考訳）: rpr: トレーニングのためのランダムパーティショニング緩和;二元および三元重みニューラルネットワーク
Authors: Lukas Cavigelli, Luca Benini
Abstract要約: ニューラルネットワーク重みを2進(+1/-1)および3進(+1/0/-1)値に強く量子化する手法であるランダム分割緩和(RPR)を提案する。我々は,GoogLeNetの最先端以上の精度とResNet-18とResNet-50の競合性能を有する二進級および三進級のネットワークを実証した。
参考スコア（独自算出の注目度）: 23.45606380793965
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Random Partition Relaxation (RPR), a method for strong quantization of neural networks weight to binary (+1/-1) and ternary (+1/0/-1) values. Starting from a pre-trained model, we quantize the weights and then relax random partitions of them to their continuous values for retraining before re-quantizing them and switching to another weight partition for further adaptation. We demonstrate binary and ternary-weight networks with accuracies beyond the state-of-the-art for GoogLeNet and competitive performance for ResNet-18 and ResNet-50 using an SGD-based training method that can easily be integrated into existing frameworks.
Abstract（参考訳）: ニューラルネットワーク重みを2進(+1/-1)および3進(+1/0/-1)値に強く量子化する手法であるランダム分割緩和(RPR)を提案する。事前学習したモデルから始めて、重みを定量化し、その後、無作為な分割を連続的な値に緩和して再トレーニングし、再定量化する前に別の重み分割に切り替え、さらなる適応を行う。既存のフレームワークに容易に統合可能なSGDベースのトレーニング手法を用いて,GoogLeNetの最先端以上の精度とResNet-18とResNet-50の競合性能を有するバイナリおよび3次ネットワークを実証した。

関連論文リスト

Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文参考訳（メタデータ） (2024-03-21T02:33:37Z)
Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
論文参考訳（メタデータ） (2023-03-29T03:43:51Z)
Resilient Binary Neural Network [26.63280603795981]
我々は、BNNのトレーニングを改善するために、頻繁な振動を軽減するためにResilient Binary Neural Network (ReBNN)を導入する。私たちのReBNNは、ImageNetデータセット上のResNet-18バックボーンで、66.9%のTop-1精度を実現しています。
論文参考訳（メタデータ） (2023-02-02T08:51:07Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
論文参考訳（メタデータ） (2021-03-17T00:31:24Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文参考訳（メタデータ） (2020-08-21T19:35:54Z)
Comparing Rewinding and Fine-tuning in Neural Network Pruning [28.663299059376897]
我々は、微調整と学習率の巻き戻しを比較し、ニューラルネットワークプルーニングアルゴリズムを訓練する。どちらの巻き戻し手法も、より多くのネットワーク固有の最先端技術の精度と圧縮率に一致する、ネットワークに依存しないアルゴリズムの基礎を形成する。
論文参考訳（メタデータ） (2020-03-05T00:53:18Z)
Energy-efficient and Robust Cumulative Training with Net2Net Transformation [2.4283778735260686]
本研究では,精度の低下を招くことなく,計算効率のトレーニングを実現する累積学習戦略を提案する。まず、元のデータセットの小さなサブセット上で小さなネットワークをトレーニングし、その後徐々にネットワークを拡張します。実験により、スクラッチからのトレーニングと比較すると、累積的なトレーニングは計算複雑性を2倍に減らすことが示された。
論文参考訳（メタデータ） (2020-03-02T21:44:47Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。