論文の概要: Hadamard Layer to Improve Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2302.10318v1
• Date: Mon, 20 Feb 2023 21:05:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 17:10:10.670884
• Title: Hadamard Layer to Improve Semantic Segmentation
• Title（参考訳）: セマンティクスセグメンテーションを改善するアダマール層
• Authors: Angello Hoyos and Mariano Rivera
• Abstract要約: アダマール層は、セマンティックセグメンテーションタスクの結果を改善するための単純で効率的な方法である。 実験結果から,新しいアダマール層は検討したモデルの性能を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Hadamard Layer, a simple and computationally efficient way to improve results in semantic segmentation tasks, is presented. This layer has no free parameters that require to be trained. Therefore it does not increase the number of model parameters, and the extra computational cost is marginal. Experimental results show that the new Hadamard layer substantially improves the performance of the investigated models (variants of the Pix2Pix model). The performance's improvement can be explained by the Hadamard layer forcing the network to produce an internal encoding of the classes so that all bins are active. Therefore, the network computation is more distributed. In a sort that the Hadamard layer requires that to change the predicted class, it is necessary to modify $2^{k-1}$ bins, assuming $k$ bins in the encoding. A specific loss function allows a stable and fast training convergence.
• Abstract（参考訳）: セマンティックセグメンテーションタスクの結果を改善するためのシンプルで効率的な方法であるアダマール層を提示する。 このレイヤにはトレーニングが必要な自由パラメータが存在しない。 したがって、モデルパラメータの数が増加せず、余分な計算コストは限界である。 実験の結果,新しいアダマール層は検討したモデル(Pix2Pixモデルの変種)の性能を大幅に向上させることがわかった。 パフォーマンスの改善は、すべてのbinがアクティブになるように、ネットワークにクラスの内部エンコーディングを強制するhadaard層によって説明できる。 したがって、ネットワーク計算はより分散している。 Hadamard層が予測クラスを変更する必要があるような方法では、エンコーディングに$k$ binsを仮定して$2^{k-1}$ binsを変更する必要がある。 特定の損失関数は安定かつ高速な訓練収束を可能にする。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• SLAB: Efficient Transformers with Simplified Linear Attention and Progressive Re-parameterized Batch Normalization [36.84275777364218]
  本稿では,効率的な変圧器の計算ボトルネックモジュール,すなわち正規化層とアテンションモジュールについて検討する。 LayerNormはトランスフォーマーアーキテクチャで一般的に使用されるが、推論中の統計計算のために計算に適さない。 本稿では,LayerNorm を再パラメータ化した BatchNorm に段階的に置き換える PRepBN という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-19T15:22:25Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Learning strides in convolutional neural networks [34.20666933112202]
  この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。 音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2022-02-03T16:03:36Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Cell image segmentation by Feature Random Enhancement Module [10.305130700118399]
  エンコーダを用いて優れた特徴を抽出し,高精度なセマンティックセグメンテーションを実現することが重要である。 トレーニングのみにおいてランダムに機能を拡張できる特徴ランダム拡張モジュールを提案する。 テストフェーズにおける計算コストを増大させることなく,セグメンテーション精度を向上した。
  論文  参考訳（メタデータ） (2021-01-20T06:16:46Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。