論文の概要: Basic Binary Convolution Unit for Binarized Image Restoration Network
- arxiv url: http://arxiv.org/abs/2210.00405v1
- Date: Sun, 2 Oct 2022 01:54:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 16:54:35.994977
- Title: Basic Binary Convolution Unit for Binarized Image Restoration Network
- Title（参考訳）: 二元化画像復元ネットワーク用基本二元畳み込みユニット
- Authors: Bin Xia, Yulun Zhang, Yitong Wang, Yapeng Tian, Wenming Yang, Radu
Timofte, and Luc Van Gool
- Abstract要約: 本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。
本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。
我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
- 参考スコア（独自算出の注目度）: 146.0988597062618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lighter and faster image restoration (IR) models are crucial for the
deployment on resource-limited devices. Binary neural network (BNN), one of the
most promising model compression methods, can dramatically reduce the
computations and parameters of full-precision convolutional neural networks
(CNN). However, there are different properties between BNN and full-precision
CNN, and we can hardly use the experience of designing CNN to develop BNN. In
this study, we reconsider components in binary convolution, such as residual
connection, BatchNorm, activation function, and structure, for IR tasks. We
conduct systematic analyses to explain each component's role in binary
convolution and discuss the pitfalls. Specifically, we find that residual
connection can reduce the information loss caused by binarization; BatchNorm
can solve the value range gap between residual connection and binary
convolution; The position of the activation function dramatically affects the
performance of BNN. Based on our findings and analyses, we design a simple yet
efficient basic binary convolution unit (BBCU). Furthermore, we divide IR
networks into four parts and specially design variants of BBCU for each part to
explore the benefit of binarizing these parts. We conduct experiments on
different IR tasks, and our BBCU significantly outperforms other BNNs and
lightweight models, which shows that BBCU can serve as a basic unit for
binarized IR networks. All codes and models will be released.
- Abstract（参考訳）: リソース制限されたデバイスへの展開には、より軽量で高速な画像復元(IR)モデルが不可欠である。
最も有望なモデル圧縮手法の1つであるバイナリニューラルネットワーク(BNN)は、完全精度畳み込みニューラルネットワーク(CNN)の計算とパラメータを劇的に削減することができる。
しかし、BNNと完全精度CNNには様々な特性があり、CNNを設計してBNNを開発する経験はほとんど利用できない。
本研究では,irタスクに対して残差接続,バッチノルム,アクティベーション関数,構造といったバイナリ畳み込みのコンポーネントを再考する。
我々は,バイナリ畳み込みにおける各コンポーネントの役割を体系的に分析し,落とし穴について議論する。
具体的には、残差接続は二項化による情報損失を低減し、BatchNormは残差接続と二項畳み込みの値範囲ギャップを解消し、活性化関数の位置がBNNの性能に劇的な影響を及ぼす。
本研究の結果と解析に基づき,単純かつ効率的な2元畳み込みユニット(bbcu)を設計した。
さらに、IRネットワークを4つの部分に分割し、それぞれにBBCUの変種を特別に設計し、これらの部品をバイナライズする利点を探る。
我々は、異なるIRタスクの実験を行い、BBCUは他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示す。
すべてのコードとモデルがリリースされる。
関連論文リスト
- Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Towards Accurate Binary Neural Networks via Modeling Contextual
Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。
本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文 参考訳（メタデータ） (2022-09-03T11:51:04Z) - Sparsifying Binary Networks [3.8350038566047426]
バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。
最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。
本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
論文 参考訳（メタデータ） (2022-07-11T15:54:41Z) - Network Binarization via Contrastive Learning [16.274341164897827]
バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。
MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。
以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
論文 参考訳（メタデータ） (2022-07-06T21:04:53Z) - BCNN: Binary Complex Neural Network [16.82755328827758]
バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。
本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。
BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
論文 参考訳（メタデータ） (2021-03-28T03:35:24Z) - Self-Distribution Binary Neural Networks [18.69165083747967]
重みとアクティベーションの両方がバイナリ(すなわち1ビット表現)である2進ニューラルネットワーク(BNN)について研究する。
SD-BNN(Self-Distribution Biinary Neural Network)を提案する。
CIFAR-10とImageNetデータセットの実験では、提案されたSD-BNNは、最先端(SOTA)BNNよりも一貫して優れていた。
論文 参考訳（メタデータ） (2021-03-03T13:39:52Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional
Neural Networks [7.753767947048147]
バイナリ畳み込みニューラルネットワーク(BCNN)に特化して設計された2つのショートカットベースのフラクタルアーキテクチャ(SoFAr)を提案する。
提案するSoFArは,1つの統一モデルによるショートカットとフラクタルアーキテクチャの採用を組み合わせることで,BCNNのトレーニングに有効である。
以上の結果から,提案したSoFArは,ショートカット方式のBCNNに比べて精度がよいことがわかった。
論文 参考訳（メタデータ） (2020-09-11T10:00:47Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳（メタデータ） (2020-07-10T07:55:39Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。