論文の概要: BiDense: Binarization for Dense Prediction

• arxiv url: http://arxiv.org/abs/2411.10346v2
• Date: Thu, 21 Nov 2024 09:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 11:59:02.422744
• Title: BiDense: Binarization for Dense Prediction
• Title（参考訳）: BiDense: ディエンス予測のためのバイナリ化
• Authors: Rui Yin, Haotong Qin, Yulun Zhang, Wenbo Li, Yong Guo, Jianjun Zhu, Cheng Wang, Biao Jia,
• Abstract要約: BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
• 参考スコア（独自算出の注目度）: 62.70804353158387
• License:
• Abstract: Dense prediction is a critical task in computer vision. However, previous methods often require extensive computational resources, which hinders their real-world application. In this paper, we propose BiDense, a generalized binary neural network (BNN) designed for efficient and accurate dense prediction tasks. BiDense incorporates two key techniques: the Distribution-adaptive Binarizer (DAB) and the Channel-adaptive Full-precision Bypass (CFB). The DAB adaptively calculates thresholds and scaling factors for binarization, effectively retaining more information within BNNs. Meanwhile, the CFB facilitates full-precision bypassing for binary convolutional layers undergoing various channel size transformations, which enhances the propagation of real-valued signals and minimizes information loss. By leveraging these techniques, BiDense preserves more real-valued information, enabling more accurate and detailed dense predictions in BNNs. Extensive experiments demonstrate that our framework achieves performance levels comparable to full-precision models while significantly reducing memory usage and computational costs.
• Abstract（参考訳）: デンス予測はコンピュータビジョンにおいて重要な課題である。 しかし、従来の手法では計算資源が広く必要であり、現実の応用を妨げることがしばしばある。 本稿では,高効率かつ高精度な予測タスクを実現するために,汎用バイナリニューラルネットワーク(BNN)であるBiDenseを提案する。 BiDenseには2つの重要な技術がある: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。 DABは、二項化のためのしきい値とスケーリング係数を適応的に計算し、BNN内で効率的により多くの情報を保持する。 一方、CFBは、様々なチャネルサイズ変換を行うバイナリ畳み込み層の完全なバイパスを容易にするため、実数値信号の伝搬が促進され、情報損失が最小化される。 これらの技術を活用することで、BiDenseはより正確な情報を保持し、BNNでより正確で詳細な密集した予測を可能にする。 大規模な実験により,本フレームワークは,メモリ使用量と計算コストを大幅に削減しつつ,完全精度モデルに匹敵する性能レベルを達成することが示された。

関連論文リスト

• BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network [55.21288428359509]
  既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。 本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。 我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
  論文  参考訳（メタデータ） (2024-05-27T10:44:05Z)
• FOBNN: Fast Oblivious Binarized Neural Network Inference [12.587981899648419]
  高速な双対型ニューラルネットワーク推論フレームワークであるFOBNNを開発した。 具体的には、二項化畳み込みニューラルネットワークをカスタマイズして、難解な推論を強化し、二項化畳み込みのための2つの高速アルゴリズムを設計し、制約されたコストで実験的にネットワーク構造を最適化する。
  論文  参考訳（メタデータ） (2024-05-06T03:12:36Z)
• BiBench: Benchmarking and Analyzing Network Binarization [72.59760752906757]
  ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。 精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。 ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
  論文  参考訳（メタデータ） (2023-01-26T17:17:16Z)
• E2FIF: Push the limit of Binarized Deep Imagery Super-resolution using End-to-end Full-precision Information Flow [16.84357146564702]
  バイナリニューラルネットワーク(BNN)は、パラメータ集約型のディープイメージスーパーレゾリューション(SISR)モデルを、限られたストレージと計算リソースを持つ実際のデバイスにデプロイする、有望なソリューションを提供する。 SISRの既存のBNNのほとんどは、重み付けとアクティベーションのバイナライズによって引き起こされる情報損失の補償に重点を置いている。 本稿では,全ネットワークにまたがる二項化畳み込み層に完全精度のスキップ接続あるいはその変形を導入し,前方表現能力と後方伝播勾配の精度を向上させることを提案する。
  論文  参考訳（メタデータ） (2022-07-14T13:24:27Z)
• Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
  しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
  論文  参考訳（メタデータ） (2022-04-05T06:07:05Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution [12.46127622357824]
  非平衡な活性化分布はBNNの精度を実際に向上させることができることを示す。 また、二項活性化関数のしきい値を調整することにより、二項活性化関数の不均衡分布が生じることを示す。 実験結果から,バイナリアクティベーション関数のしきい値を簡単にシフトすることで,従来のBNNモデルの精度を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-12-02T02:49:53Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。