論文の概要: Batch Normalization with Enhanced Linear Transformation

• arxiv url: http://arxiv.org/abs/2011.14150v1
• Date: Sat, 28 Nov 2020 15:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 19:38:36.072923
• Title: Batch Normalization with Enhanced Linear Transformation
• Title（参考訳）: 拡張線形変換によるバッチ正規化
• Authors: Yuhui Xu, Lingxi Xie, Cihang Xie, Jieru Mei, Siyuan Qiao, Wei Shen, Hongkai Xiong, Alan Yuille
• Abstract要約: 線形変換モジュールを適切に拡張することで、バッチ正規化(BN)の能力を効果的に改善できる 私たちのメソッドはBNETと呼ばれ、ほとんどのディープラーニングライブラリで2～3行のコードで実装できます。 我々は、BNETがネットワークトレーニングの収束を加速し、より大きな重み付けで重要なニューロンを割り当てることで空間情報を強化することを検証する。
• 参考スコア（独自算出の注目度）: 73.9885755599221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch normalization (BN) is a fundamental unit in modern deep networks, in which a linear transformation module was designed for improving BN's flexibility of fitting complex data distributions. In this paper, we demonstrate properly enhancing this linear transformation module can effectively improve the ability of BN. Specifically, rather than using a single neuron, we propose to additionally consider each neuron's neighborhood for calculating the outputs of the linear transformation. Our method, named BNET, can be implemented with 2-3 lines of code in most deep learning libraries. Despite the simplicity, BNET brings consistent performance gains over a wide range of backbones and visual benchmarks. Moreover, we verify that BNET accelerates the convergence of network training and enhances spatial information by assigning the important neurons with larger weights accordingly. The code is available at https://github.com/yuhuixu1993/BNET.
• Abstract（参考訳）: バッチ正規化(BN)は、複雑なデータ分散に適合するBNの柔軟性を改善するために線形変換モジュールが設計された、現代のディープネットワークの基本単位である。 本稿では,この線形変換モジュールを適切に拡張することにより,BNの能力を効果的に向上できることを示す。 具体的には、単一ニューロンではなく、各ニューロンの近傍を線形変換の出力を計算するために追加的に検討することを提案する。 bnetと呼ばれるこの手法は、ほとんどのディープラーニングライブラリで2-3行のコードで実装できる。 単純さにもかかわらず、bnetは幅広いバックボーンとビジュアルベンチマークで一貫したパフォーマンス向上をもたらす。 さらに,bnetがネットワークトレーニングの収束を加速し,重要なニューロンを重み付けで割り当てることで空間情報を高めることを検証した。 コードはhttps://github.com/yuhuixu1993/BNETで入手できる。

関連論文リスト

• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data [2.207533492015563]
  球面調和に基づく同変ボクセル畳み込みを用いたセグメンテーションネットワークを新たに提案する。 これらのネットワークは、トレーニング中に見えないデータポーズに対して堅牢であり、トレーニング中にローテーションベースのデータ拡張を必要としない。 MRI脳腫瘍におけるセグメンテーション性能と健常な脳構造セグメンテーション課題について検討した。
  論文  参考訳（メタデータ） (2023-03-01T09:27:08Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• B-cos Networks: Alignment is All We Need for Interpretability [136.27303006772294]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 B-コス変換は、完全なモデル計算を忠実に要約する単一の線形変換を誘導する。 VGGs、ResNets、InceptionNets、DenseNetsといった一般的なモデルに簡単に統合できることを示します。
  論文  参考訳（メタデータ） (2022-05-20T16:03:29Z)
• Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training [44.66478612082257]
  現代畳み込みニューラルネットワーク(convnets)では正規化技術が基本成分となっている フーリエ領域における畳み込み構造を完全に活用できるシンプルで効率的な畳み込み正規化法を導入する。 畳み込み正規化は、重み行列の層単位でのスペクトルノルムを減少させ、ネットワークのリプシッツ性を改善することができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T00:33:04Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。