論文の概要: ComBiNet: Compact Convolutional Bayesian Neural Network for Image
Segmentation
- arxiv url: http://arxiv.org/abs/2104.06957v1
- Date: Wed, 14 Apr 2021 16:33:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 13:35:34.498521
- Title: ComBiNet: Compact Convolutional Bayesian Neural Network for Image
Segmentation
- Title(参考訳): ComBiNet:イメージセグメンテーションのためのコンパクト畳み込みベイズニューラルネットワーク
- Authors: Martin Ferianc, Divyansh Manocha, Hongxiang Fan, Miguel Rodrigues
- Abstract要約: 現実世界のアプリケーションにおいて畳み込みニューラルネットワークを妨げる2つの欠陥に取り組む。
我々は、精度の限界改善を実現するいくつかのパラメータコンパクトベイズ畳み込みアーキテクチャを実証します。
このアーキテクチャは、分離可能な畳み込み、双画素、マルチスケールの特徴伝播、モンテカルロ・ドロップアウトによる不確実性毎の定量化に対するベイズ推定などのパラメータ効率の演算を組み合わせる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fully convolutional U-shaped neural networks have largely been the dominant
approach for pixel-wise image segmentation. In this work, we tackle two defects
that hinder their deployment in real-world applications: 1) Predictions lack
uncertainty quantification that may be crucial to many decision making systems;
2) Large memory storage and computational consumption demanding extensive
hardware resources. To address these issues and improve their practicality we
demonstrate a few-parameter compact Bayesian convolutional architecture, that
achieves a marginal improvement in accuracy in comparison to related work using
significantly fewer parameters and compute operations. The architecture
combines parameter-efficient operations such as separable convolutions,
bi-linear interpolation, multi-scale feature propagation and Bayesian inference
for per-pixel uncertainty quantification through Monte Carlo Dropout. The best
performing configurations required fewer than 2.5 million parameters on diverse
challenging datasets with few observations.
- Abstract(参考訳): 完全な畳み込み型U字型ニューラルネットワークは、ピクセルワイド画像セグメンテーションの主要なアプローチである。
本研究では,1)多くの意思決定システムにおいて重要な不確実な定量化が欠如していること,2)大規模なメモリストレージとハードウェアリソースを必要とする計算消費,の2つの欠陥に対処する。
これらの問題に対処し、それらの実用性を改善するために、数パラメータのコンパクトなベイズ畳み込みアーキテクチャを実証し、より少ないパラメータと計算演算を用いて、関連する作業と比較して精度を極端に向上させる。
このアーキテクチャは、分離可能な畳み込み、双線型補間、マルチスケール特徴伝播、モンテカルロドロップアウトによるピクセル単位の不確かさの定量化のためのベイズ推定といったパラメータ効率の良い演算を組み合わせる。
最高のパフォーマンス設定では、観測の少ない多様な挑戦的なデータセットに対して、250万以上のパラメータが必要でした。
関連論文リスト
- SqueezeLLM: Dense-and-Sparse Quantization [83.7810943431625]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳(メタデータ) (2023-06-13T08:57:54Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Leveraging Image Complexity in Macro-Level Neural Network Design for
Medical Image Segmentation [3.974175960216864]
画像の複雑さは、与えられたデータセットに最適なものを選択するためのガイドラインとして利用できることを示す。
高複雑性データセットの場合、元のイメージ上で実行される浅いネットワークは、ダウンサンプリングされたイメージ上で実行されるディープネットワークよりもセグメンテーション結果が優れている可能性がある。
論文 参考訳(メタデータ) (2021-12-21T09:49:47Z) - Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。
我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。
低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文 参考訳(メタデータ) (2020-11-29T03:53:49Z) - Efficient and Sparse Neural Networks by Pruning Weights in a
Multiobjective Learning Approach [0.0]
本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。
模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
論文 参考訳(メタデータ) (2020-08-31T13:28:03Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳(メタデータ) (2020-08-25T06:00:06Z) - Towards Lossless Binary Convolutional Neural Networks Using Piecewise
Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。
しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。
完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文 参考訳(メタデータ) (2020-08-08T13:32:33Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳(メタデータ) (2020-04-19T08:34:52Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。