論文の概要: High-Capacity Expert Binary Networks

• arxiv url: http://arxiv.org/abs/2010.03558v2
• Date: Tue, 30 Mar 2021 18:16:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 21:51:20.075158
• Title: High-Capacity Expert Binary Networks
• Title（参考訳）: 高容量エキスパートバイナリネットワーク
• Authors: Adrian Bulat and Brais Martinez and Georgios Tzimiropoulos
• Abstract要約: ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
• 参考スコア（独自算出の注目度）: 56.87581500474093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network binarization is a promising hardware-aware direction for creating efficient deep models. Despite its memory and computational advantages, reducing the accuracy gap between binary models and their real-valued counterparts remains an unsolved challenging research problem. To this end, we make the following 3 contributions: (a) To increase model capacity, we propose Expert Binary Convolution, which, for the first time, tailors conditional computing to binary networks by learning to select one data-specific expert binary filter at a time conditioned on input features. (b) To increase representation capacity, we propose to address the inherent information bottleneck in binary networks by introducing an efficient width expansion mechanism which keeps the binary operations within the same budget. (c) To improve network design, we propose a principled binary network growth mechanism that unveils a set of network topologies of favorable properties. Overall, our method improves upon prior work, with no increase in computational cost, by $\sim6 \%$, reaching a groundbreaking $\sim 71\%$ on ImageNet classification. Code will be made available $\href{https://www.adrianbulat.com/binary-networks}{here}$.
• Abstract（参考訳）: ネットワークバイナリ化は、効率的な深層モデルを作成するための、有望なハードウェア対応の方向性である。 その記憶力と計算能力の利点にもかかわらず、バイナリモデルと実数値モデルの間の精度の差を減少させることは、未解決の困難な研究課題である。 この目的のために、私たちは以下の3つの貢献をします。 a) モデル容量を増やすために,入力特徴を条件とした時間に1つのデータ固有エキスパートバイナリフィルタを選択することを学習し,最初に条件付きコンピューティングをバイナリネットワークに仕立て上げるエキスパートバイナリ畳み込みを提案する。 b) 表現能力を高めるため,二元ネットワークにおける固有情報のボトルネックに対処するために,二元演算を同一予算内に維持する効率的な幅拡大機構を導入することを提案する。 c) ネットワーク設計を改善するために, 望ましい特性を持つネットワークトポロジの集合を提示する, 原則付きバイナリネットワーク成長機構を提案する。 全体として,提案手法は先行処理を改良し,計算コストの増大を伴わず,$\sim6 \%$を画期的な$\sim 71\%$に到達した。 コードは$\href{https://www.adrianbulat.com/binary-networks}{here}$である。

関連論文リスト

• BiHRNet: A Binary high-resolution network for Human Pose Estimation [11.250422970707415]
  重みとアクティベーションを$pm$1と表現したBiHRNetという2値のポーズ推定器を提案する。 BiHRNetは、バイナリニューラルネットワーク(BNN)を適用することで、少ないコンピューティングリソースを使用しながら、HRNetのキーポイント抽出能力を保っている。 我々は、BiHRNetがMPIIデータセット上で87.9のPCKhを達成することを示す。
  論文  参考訳（メタデータ） (2023-11-17T03:01:37Z)
• Input Layer Binarization with Bit-Plane Encoding [4.872439392746007]
  本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。 得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
  論文  参考訳（メタデータ） (2023-05-04T14:49:07Z)
• BiBench: Benchmarking and Analyzing Network Binarization [72.59760752906757]
  ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。 精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。 ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
  論文  参考訳（メタデータ） (2023-01-26T17:17:16Z)
• Join the High Accuracy Club on ImageNet with A Binary Neural Network Ticket [10.552465253379134]
  ILSVRC-2012 ImageNetにおいて、バイナリニューラルネットワークが重要な精度レベル(例えば80%)をどうやって達成できるのか? 我々は、バイナリアーキテクチャとその最適化プロセスの包括的な研究に基づいて、新しいバイナリアーキテクチャBNextを設計する。 極めて正確なバイナリモデルを訓練する際の直感的オーバーフィッティング問題を軽減するために,新しい知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T13:08:58Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。