論文の概要: Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2010.13476v2
• Date: Mon, 3 May 2021 19:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 19:31:16.040232
• Title: Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks
• Title（参考訳）: 二元ニューラルネットワークを用いた深部生成モデルの計算コスト削減
• Authors: Thomas Bird, Friso H. Kingma, David Barber
• Abstract要約: バイナリニューラルネットワークを利用した生成モデルのトレーニングに成功していることを示す。 これにより、モデルの計算コストが大幅に削減される。 本稿では,ResNet VAEモデルとFlow++モデルという,最先端の2つの深層生成モデルについて,これらの手法を効果的にバイナライズできることを実証する。
• 参考スコア（独自算出の注目度）: 25.084146613277973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models provide a powerful set of tools to understand real-world data. But as these models improve, they increase in size and complexity, so their computational cost in memory and execution time grows. Using binary weights in neural networks is one method which has shown promise in reducing this cost. However, whether binary neural networks can be used in generative models is an open problem. In this work we show, for the first time, that we can successfully train generative models which utilize binary neural networks. This reduces the computational cost of the models massively. We develop a new class of binary weight normalization, and provide insights for architecture designs of these binarized generative models. We demonstrate that two state-of-the-art deep generative models, the ResNet VAE and Flow++ models, can be binarized effectively using these techniques. We train binary models that achieve loss values close to those of the regular models but are 90%-94% smaller in size, and also allow significant speed-ups in execution time.
• Abstract（参考訳）: 深層生成モデルは、現実世界のデータを理解するための強力なツールセットを提供する。 しかし、これらのモデルが改善されるにつれて、サイズと複雑さが増し、メモリと実行時間の計算コストが増大する。 ニューラルネットワークにおけるバイナリ重みの使用は、このコスト削減に期待できる方法のひとつだ。 しかし、バイナリニューラルネットワークが生成モデルで使用できるかどうかは未解決の問題である。 この研究で、我々は初めてバイナリニューラルネットワークを利用した生成モデルのトレーニングに成功したことを示す。 これにより、モデルの計算コストが大幅に削減される。 我々は二項重み正規化の新しいクラスを開発し、これらの二項化生成モデルのアーキテクチャ設計に関する洞察を提供する。 resnet vaeとflow++という2つの最先端のディープジェネレーティブモデルが、これらの技術を使って効果的にバイナリ化できることを実証する。 通常のモデルに近い損失値を得るが、90%～94%の小型化を実現し、実行時の大幅なスピードアップを可能にしたバイナリモデルをトレーニングする。

関連論文リスト

• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
  本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
  論文  参考訳（メタデータ） (2024-01-08T18:59:31Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures [4.836352379142503]
  Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。 このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2022-04-08T19:54:52Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
  ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。 我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。 以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
  論文  参考訳（メタデータ） (2020-09-01T16:20:11Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。