論文の概要: Zeros can be Informative: Masked Binary U-Net for Image Segmentation on Tensor Cores
- arxiv url: http://arxiv.org/abs/2601.11660v1
- Date: Thu, 15 Jan 2026 21:22:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.262521
- Title: Zeros can be Informative: Masked Binary U-Net for Image Segmentation on Tensor Cores
- Title(参考訳): ゼロは不変である: テンソルコア上のイメージセグメンテーションのためのマスク付きバイナリU-Net
- Authors: Chunshu Wu, Ruibing Song, Sushant Kondguli, Tong Geng, Ang Li,
- Abstract要約: リアルタイム画像のセグメンテーションは、AR/VR、ロボティクス、ドローン、自律システムにとって重要な実現手段である。
極端量子化、特にバイナリネットワークは、ハードウェアフレンドリーな操作をアピールしている。
コスト対応マスキング戦略により得られたMBU-Net(Masked Binary U-Net)を紹介する。
- 参考スコア(独自算出の注目度): 15.85492334826242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time image segmentation is a key enabler for AR/VR, robotics, drones, and autonomous systems, where tight accuracy, latency, and energy budgets must be met on resource-constrained edge devices. While U-Net offers a favorable balance of accuracy and efficiency compared to large transformer-based models, achieving real-time performance on high-resolution input remains challenging due to compute, memory, and power limits. Extreme quantization, particularly binary networks, is appealing for its hardware-friendly operations. However, two obstacles limit practicality: (1) severe accuracy degradation, and (2) a lack of end-to-end implementations that deliver efficiency on general-purpose GPUs. We make two empirical observations that guide our design. (1) An explicit zero state is essential: training with zero masking to binary U-Net weights yields noticeable sparsity. (2) Quantization sensitivity is uniform across layers. Motivated by these findings, we introduce Masked Binary U-Net (MBU-Net), obtained through a cost-aware masking strategy that prioritizes masking where it yields the highest accuracy-per-cost, reconciling accuracy with near-binary efficiency. To realize these gains in practice, we develop a GPU execution framework that maps MBU-Net to Tensor Cores via a subtractive bit-encoding scheme, efficiently implementing masked binary weights with binary activations. This design leverages native binary Tensor Core BMMA instructions, enabling high throughput and energy savings on widely available GPUs. Across 3 segmentation benchmarks, MBU-Net attains near full-precision accuracy (3% average drop) while delivering 2.04x speedup and 3.54x energy reductions over a 16-bit floating point U-Net.
- Abstract(参考訳): リアルタイム画像のセグメンテーションは、AR/VR、ロボティクス、ドローン、自律システムにとって重要な実現手段であり、リソースに制約のあるエッジデバイスでは、厳密な正確性、レイテンシ、エネルギー予算を満たさなければならない。
U-Netは、大きなトランスフォーマーベースモデルと比較して精度と効率のバランスが良いが、高解像度入力でのリアルタイム性能を達成することは、計算、メモリ、電力制限のため、依然として困難である。
極端量子化、特にバイナリネットワークは、ハードウェアフレンドリーな操作をアピールしている。
しかし,1)高精度な精度劣化,2)汎用GPUの効率性を実現するエンドツーエンド実装の欠如,という2つの障害がある。
デザインをガイドする実証的な観察を2つ行います。
1) 明示的なゼロ状態は必須である: ゼロマスキングとバイナリU-Net重みのトレーニングは、顕著な間隔をもたらす。
2) 量子化感度は層間で均一である。
これらの知見に触発されて、コスト意識のマスキング戦略により得られたMasked Binary U-Net(MBU-Net)を導入し、コスト対コストで高い精度を達成し、ほぼバイナリ効率で精度を調整できるマスキングを優先する。
そこで我々は,MBU-NetとTensor Coreをサブトラクティブなビット符号化方式でマッピングするGPU実行フレームワークを開発し,マスク付きバイナリ重みとバイナリアクティベーションを効率的に実装した。
この設計ではネイティブバイナリのTensor Core BMMA命令を活用し、広く利用可能なGPU上で高いスループットと省エネを実現する。
3つのセグメンテーションベンチマークで、MBU-Netは16ビット浮動小数点U-Net上で2.04倍のスピードアップと3.54倍のエネルギー削減を実現している。
関連論文リスト
- BiVM: Accurate Binarized Neural Network for Efficient Video Matting [56.000594826508504]
リアルタイムビデオマッチングのためのディープニューラルネットワークは、エッジデバイスに重大な計算制限を被る。
ビデオマッティングのための正確でリソース効率のよいバイナリニューラルネットワークであるBiVMを提案する。
BiVMは、最先端(SOTA)バイナライゼーション手法を含む、代替のバイナライズされたビデオマッティングネットワークをかなり上回っている。
論文 参考訳(メタデータ) (2025-07-06T16:32:37Z) - Signed Binary Weight Networks [17.07866119979333]
2つの重要なアルゴリズム技術は、効率の良い推論を可能にすることを約束している。
本稿では,さらに効率を向上させるために,署名バイナリネットワークと呼ばれる新しい手法を提案する。
提案手法は,イメージネットとCIFAR10データセットの2進法で同等の精度を達成し,69%の空間性を実現する。
論文 参考訳(メタデータ) (2022-11-25T00:19:21Z) - BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to
Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。
我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。
小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文 参考訳(メタデータ) (2022-11-13T18:31:45Z) - BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。
実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文 参考訳(メタデータ) (2022-02-14T05:16:53Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳(メタデータ) (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。