論文の概要: Binary Neural Networks: A Survey

• arxiv url: http://arxiv.org/abs/2004.03333v1
• Date: Tue, 31 Mar 2020 16:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 23:55:00.107581
• Title: Binary Neural Networks: A Survey
• Title（参考訳）: バイナリニューラルネットワーク:調査
• Authors: Haotong Qin, Ruihao Gong, Xianglong Liu, Xiao Bai, Jingkuan Song, Nicu Sebe
• Abstract要約: バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
• 参考スコア（独自算出の注目度）: 126.67799882857656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The binary neural network, largely saving the storage and computation, serves as a promising technique for deploying deep models on resource-limited devices. However, the binarization inevitably causes severe information loss, and even worse, its discontinuity brings difficulty to the optimization of the deep network. To address these issues, a variety of algorithms have been proposed, and achieved satisfying progress in recent years. In this paper, we present a comprehensive survey of these algorithms, mainly categorized into the native solutions directly conducting binarization, and the optimized ones using techniques like minimizing the quantization error, improving the network loss function, and reducing the gradient error. We also investigate other practical aspects of binary neural networks such as the hardware-friendly design and the training tricks. Then, we give the evaluation and discussions on different tasks, including image classification, object detection and semantic segmentation. Finally, the challenges that may be faced in future research are prospected.
• Abstract（参考訳）: ストレージと計算を大幅に節約するバイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 しかし、バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 これらの問題に対処するために, 様々なアルゴリズムが提案され, 近年の進歩が達成されている。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを網羅的に調査する。 また,ハードウェアフレンドリな設計やトレーニングトリックなど,バイナリニューラルネットワークの他の実用的な側面についても検討する。 次に,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,さまざまなタスクの評価と議論を行う。 最後に、今後の研究で直面するであろう課題が予想される。

関連論文リスト

• Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
  逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。 本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。 この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
  論文  参考訳（メタデータ） (2023-03-20T16:49:40Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
  ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。 提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。 複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-21T16:59:44Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Robust error bounds for quantised and pruned neural networks [1.8083503268672914]
  機械学習のアルゴリズムは、データとアルゴリズムを保存し、訓練し、デバイス上でローカルに分散化しようとしている。 デバイスハードウェアは、このセットアップにおけるモデル機能の主要なボトルネックとなり、スリム化され、より効率的なニューラルネットワークの必要性を生み出します。 半確定プログラムを導入して、ニューラルネットワークのプルーニングや定量化による最悪のケースエラーをバインドする。 計算されたバウンダリは、安全クリティカルなシステムにデプロイした場合に、これらのアルゴリズムの性能に確実性をもたらすことが期待されている。
  論文  参考訳（メタデータ） (2020-11-30T22:19:44Z)
• VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
  スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。 提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
  論文  参考訳（メタデータ） (2020-07-12T21:47:35Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。