論文の概要: Spectral Analysis for Semantic Segmentation with Applications on Feature
Truncation and Weak Annotation
- arxiv url: http://arxiv.org/abs/2012.14123v5
- Date: Thu, 11 May 2023 12:21:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 19:37:31.685853
- Title: Spectral Analysis for Semantic Segmentation with Applications on Feature
Truncation and Weak Annotation
- Title(参考訳): セマンティクスセグメンテーションのスペクトル解析 : 特徴の切り込みと弱いアノテーションへの応用
- Authors: Li-Wei Chen, Wei-Chen Chiu, Chin-Tien Wu
- Abstract要約: U-NetのようなSSNNの精度とトレーニングコストの顕著なバランスが存在する。
本稿では,ダウンサンプルグリッドの分解能,損失関数,SSNNの精度の相関関係をスペクトル解析により解析する。
- 参考スコア(独自算出の注目度): 19.967870811543737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is well known that semantic segmentation neural networks (SSNNs) produce
dense segmentation maps to resolve the objects' boundaries while restrict the
prediction on down-sampled grids to alleviate the computational cost. A
striking balance between the accuracy and the training cost of the SSNNs such
as U-Net exists. We propose a spectral analysis to investigate the correlations
among the resolution of the down sampled grid, the loss function and the
accuracy of the SSNNs. By analyzing the network back-propagation process in
frequency domain, we discover that the traditional loss function,
cross-entropy, and the key features of CNN are mainly affected by the
low-frequency components of segmentation labels. Our discoveries can be applied
to SSNNs in several ways including (i) determining an efficient low resolution
grid for resolving the segmentation maps (ii) pruning the networks by
truncating the high frequency decoder features for saving computation costs,
and (iii) using block-wise weak annotation for saving the labeling time.
Experimental results shown in this paper agree with our spectral analysis for
the networks such as DeepLab V3+ and Deep Aggregation Net (DAN).
- Abstract(参考訳): セマンティックセグメンテーションニューラルネットワーク(SSNN)は、オブジェクトの境界を解決するために密度の高いセグメンテーションマップを生成し、ダウンサンプルグリッドの予測を制限し、計算コストを軽減することはよく知られている。
U-NetのようなSSNNの精度とトレーニングコストの顕著なバランスが存在する。
本研究では,ダウンサンプルグリッドの分解能,損失関数,ssnnの精度の相関性を調べるため,スペクトル解析を行った。
周波数領域におけるネットワークバックプロパゲーションプロセスの解析により、従来の損失関数、クロスエントロピー、CNNの鍵となる特徴が、主にセグメンテーションラベルの低周波成分に影響されることが分かる。
我々の発見はSSNNにもいくつかの方法で適用できる。
(i)セグメンテーションマップを解決するための効率的な低解像度グリッドの決定
(ii) 計算コストを節約するために高周波デコーダの特徴を切断してネットワークを刈り取ること
(iii)ラベル付け時間を節約するためにブロックワイドなアノテーションを使用する。
本稿では,DeepLab V3+ や Deep Aggregation Net (DAN) などのネットワークのスペクトル解析結果と一致することを示す。
関連論文リスト
- Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。
より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
論文 参考訳(メタデータ) (2024-01-31T20:10:10Z) - Geometric Learning-Based Transformer Network for Estimation of
Segmentation Errors [1.376408511310322]
そこで本研究では,セグメントマップ内の誤り領域を同定し,測定する手法を提案する。
提案手法は, 疑似ボリューム分割マップから生成された3次元メッシュの任意の点やノードにおける誤差を推定できる。
我々は,ヒト内耳骨迷路構造の高分解能マイクロCTデータセットを用いてネットワークの評価を行った。
論文 参考訳(メタデータ) (2023-08-09T16:58:03Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳(メタデータ) (2023-02-06T16:54:20Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳(メタデータ) (2021-11-03T15:14:20Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T15:46:50Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳(メタデータ) (2021-06-10T04:21:20Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳(メタデータ) (2020-12-04T19:50:09Z) - Binary Segmentation of Seismic Facies Using Encoder-Decoder Neural
Networks [0.0]
本研究は, 深層ニューラルネットワーク(DNFS)を用いて, 耐震フェーシセグメンテーションの最先端結果を得る。
DNFSはクロスエントロピーとジャカード損失関数を組み合わせて訓練されている。
以上の結果から,DNFS は StNet や U-Net よりも少ないパラメータを用いて, 震度セグメンテーションの高精度な予測を行うことができた。
論文 参考訳(メタデータ) (2020-11-15T01:36:52Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。