論文の概要: Group Whitening: Balancing Learning Efficiency and Representational Capacity

• arxiv url: http://arxiv.org/abs/2009.13333v4
• Date: Tue, 6 Apr 2021 04:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 20:49:02.515670
• Title: Group Whitening: Balancing Learning Efficiency and Representational Capacity
• Title（参考訳）: グループホワイトニング:学習効率と表現能力のバランス
• Authors: Lei Huang, Yi Zhou, Li Liu, Fan Zhu, Ling Shao
• Abstract要約: グループホワイトニング(GW)は、ホワイトニング操作の利点を活用し、ミニバッチ内での正規化の欠点を回避する。 我々は、GWが異なるアーキテクチャのパフォーマンスを継続的に改善し、絶対的なゲインが$1.02%$$sim$1.49%$のImageNet上のトップ1精度と$1.82%$$$sim$$21%$のバウンディングボックスAPのCOCO上のバウンディングボックスAPであることを示した。
• 参考スコア（独自算出の注目度）: 98.52552448012598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch normalization (BN) is an important technique commonly incorporated into deep learning models to perform standardization within mini-batches. The merits of BN in improving a model's learning efficiency can be further amplified by applying whitening, while its drawbacks in estimating population statistics for inference can be avoided through group normalization (GN). This paper proposes group whitening (GW), which exploits the advantages of the whitening operation and avoids the disadvantages of normalization within mini-batches. In addition, we analyze the constraints imposed on features by normalization, and show how the batch size (group number) affects the performance of batch (group) normalized networks, from the perspective of model's representational capacity. This analysis provides theoretical guidance for applying GW in practice. Finally, we apply the proposed GW to ResNet and ResNeXt architectures and conduct experiments on the ImageNet and COCO benchmarks. Results show that GW consistently improves the performance of different architectures, with absolute gains of $1.02\%$ $\sim$ $1.49\%$ in top-1 accuracy on ImageNet and $1.82\%$ $\sim$ $3.21\%$ in bounding box AP on COCO.
• Abstract（参考訳）: バッチ正規化(bn)は、ミニバッチ内で標準化を行うためにディープラーニングモデルに一般的に組み込まれている重要なテクニックである。 モデルの学習効率を向上させるbnのメリットは、ホワイトニングを適用することでさらに増幅できるが、推論のための人口統計の推定における欠点は群正規化(gn)によって回避できる。 本稿では, グループホワイトニング(GW)を提案し, ホワイトニング操作の利点を活かし, ミニバッチ内での正規化の欠点を回避する。 さらに、正規化によって特徴に課される制約を分析し、モデルの表現能力の観点から、バッチサイズ(グループ番号)がバッチ(グループ)正規化ネットワークのパフォーマンスにどのように影響するかを示す。 この分析は、GWを実際に適用するための理論的ガイダンスを提供する。 最後に、提案したGWをResNetおよびResNeXtアーキテクチャに適用し、ImageNetおよびCOCOベンチマーク上で実験を行う。 その結果、gwは一貫して異なるアーキテクチャのパフォーマンスを改善し、imagenetにおけるtop-1精度において$.02\%$$$$\sim$ $1.49\%$、coco上のバウンディングボックスapにおいて$.82\%$$$$$$\sim$ $3.21\%$である。

関連論文リスト

• Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
  クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。 我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。 極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
  論文  参考訳（メタデータ） (2024-08-30T10:49:33Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• RawlsGCN: Towards Rawlsian Difference Principle on Graph Convolutional Network [102.27090022283208]
  グラフ畳み込みネットワーク(GCN)は多くの現実世界のアプリケーションにおいて重要な役割を担っている。 GCNはしばしばノードの次数に対する性能の相違を示し、結果として低次ノードの予測精度が悪化する。 我々は、Rawlsian差分原理の観点から、GCNの次数関連性能格差を緩和する問題を定式化する。
  論文  参考訳（メタデータ） (2022-02-28T05:07:57Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Batch Group Normalization [45.03388237812212]
  バッチ正規化(BN)は中規模および大規模なバッチサイズでよく機能する。 BNは、ノイズ/畳み込み統計計算により、小さな/非常に大きなバッチサイズで飽和する。 BGN は小・極大バッチサイズでの BN の雑音/畳み込み統計計算を解くために提案される。
  論文  参考訳（メタデータ） (2020-12-04T18:57:52Z)
• An Investigation into the Stochasticity of Batch Whitening [95.54842420166862]
  本稿では,より一般的なBatch Whitening(BW)手術について検討する。 様々なホワイトニング変換が条件付けを同等に改善する一方で,識別シナリオやGAN(Generative Adrial Networks)のトレーニングにおいて,異なる挙動を示すことが示されている。 提案するBWアルゴリズムは、ImageNetversaityにおいて、残余ネットワークを著しく改善する。
  論文  参考訳（メタデータ） (2020-03-27T11:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。