論文の概要: Hadamard Layer to Improve Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2302.10318v1
- Date: Mon, 20 Feb 2023 21:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 17:10:10.670884
- Title: Hadamard Layer to Improve Semantic Segmentation
- Title(参考訳): セマンティクスセグメンテーションを改善するアダマール層
- Authors: Angello Hoyos and Mariano Rivera
- Abstract要約: アダマール層は、セマンティックセグメンテーションタスクの結果を改善するための単純で効率的な方法である。
実験結果から,新しいアダマール層は検討したモデルの性能を大幅に向上することが示された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Hadamard Layer, a simple and computationally efficient way to improve
results in semantic segmentation tasks, is presented. This layer has no free
parameters that require to be trained. Therefore it does not increase the
number of model parameters, and the extra computational cost is marginal.
Experimental results show that the new Hadamard layer substantially improves
the performance of the investigated models (variants of the Pix2Pix model). The
performance's improvement can be explained by the Hadamard layer forcing the
network to produce an internal encoding of the classes so that all bins are
active. Therefore, the network computation is more distributed. In a sort that
the Hadamard layer requires that to change the predicted class, it is necessary
to modify $2^{k-1}$ bins, assuming $k$ bins in the encoding. A specific loss
function allows a stable and fast training convergence.
- Abstract(参考訳): セマンティックセグメンテーションタスクの結果を改善するためのシンプルで効率的な方法であるアダマール層を提示する。
このレイヤにはトレーニングが必要な自由パラメータが存在しない。
したがって、モデルパラメータの数が増加せず、余分な計算コストは限界である。
実験の結果,新しいアダマール層は検討したモデル(Pix2Pixモデルの変種)の性能を大幅に向上させることがわかった。
パフォーマンスの改善は、すべてのbinがアクティブになるように、ネットワークにクラスの内部エンコーディングを強制するhadaard層によって説明できる。
したがって、ネットワーク計算はより分散している。
Hadamard層が予測クラスを変更する必要があるような方法では、エンコーディングに$k$ binsを仮定して$2^{k-1}$ binsを変更する必要がある。
特定の損失関数は安定かつ高速な訓練収束を可能にする。
関連論文リスト
- Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。
特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。
早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文 参考訳(メタデータ) (2023-06-20T03:00:22Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳(メタデータ) (2023-03-27T15:18:32Z) - Learning strides in convolutional neural networks [34.20666933112202]
この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。
音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
論文 参考訳(メタデータ) (2022-02-03T16:03:36Z) - Basis Scaling and Double Pruning for Efficient Inference in
Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。
CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文 参考訳(メタデータ) (2021-08-06T00:04:02Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳(メタデータ) (2021-06-30T03:54:35Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳(メタデータ) (2021-06-18T01:03:13Z) - Cell image segmentation by Feature Random Enhancement Module [10.305130700118399]
エンコーダを用いて優れた特徴を抽出し,高精度なセマンティックセグメンテーションを実現することが重要である。
トレーニングのみにおいてランダムに機能を拡張できる特徴ランダム拡張モジュールを提案する。
テストフェーズにおける計算コストを増大させることなく,セグメンテーション精度を向上した。
論文 参考訳(メタデータ) (2021-01-20T06:16:46Z) - LookHops: light multi-order convolution and pooling for graph
classification [31.04335017603163]
我々は、性能を改善しつつパラメータを少なくする軽量の$k$-order畳み込みとプーリングを提案する。
提案する畳み込みは、競合的な結果を提供する一方でパラメータを少なくする。
提案手法は効率と性能の点でSOTAアルゴリズムより優れている。
論文 参考訳(メタデータ) (2020-12-28T11:47:03Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳(メタデータ) (2020-04-20T02:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。