論文の概要: Deep Isometric Learning for Visual Recognition

• arxiv url: http://arxiv.org/abs/2006.16992v2
• Date: Sat, 15 Aug 2020 04:39:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 05:56:18.843447
• Title: Deep Isometric Learning for Visual Recognition
• Title（参考訳）: 視覚認識のための深部等尺学習
• Authors: Haozhi Qi, Chong You, Xiaolong Wang, Yi Ma, Jitendra Malik
• Abstract要約: 我々は、標準的な画像認識ベンチマークで驚くほど優れたパフォーマンスを達成するために、深いバニラConvNetをトレーニングできることを示します。 私たちのコードはhttps://github.com/HaozhiQi/ISONet.comで公開されています。
• 参考スコア（独自算出の注目度）: 67.94199891354157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Initialization, normalization, and skip connections are believed to be three indispensable techniques for training very deep convolutional neural networks and obtaining state-of-the-art performance. This paper shows that deep vanilla ConvNets without normalization nor skip connections can also be trained to achieve surprisingly good performance on standard image recognition benchmarks. This is achieved by enforcing the convolution kernels to be near isometric during initialization and training, as well as by using a variant of ReLU that is shifted towards being isometric. Further experiments show that if combined with skip connections, such near isometric networks can achieve performances on par with (for ImageNet) and better than (for COCO) the standard ResNet, even without normalization at all. Our code is available at https://github.com/HaozhiQi/ISONet.
• Abstract（参考訳）: 初期化、正規化、スキップ接続は、非常に深い畳み込みニューラルネットワークを訓練し、最先端のパフォーマンスを得るために必要な3つのテクニックであると考えられている。 本稿では、標準画像認識ベンチマークにおいて、正規化やスキップ接続のない深いバニラ ConvNet も驚くほど優れた性能を発揮するよう訓練できることを示す。 これは、初期化とトレーニング中に畳み込みカーネルをアイソメトリックに近いように強制し、また、アイソメトリックに移行したReLUの変種を使用することによって達成される。 さらなる実験により、スキップ接続と組み合わせると、近接等尺ネットワークは(イメージネットの場合)同等の性能を達成でき、標準のresnet(cocoの場合)よりも優れていることが示される。 私たちのコードはhttps://github.com/haozhiqi/isonetで利用可能です。

関連論文リスト

• Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning [14.792099973449794]
  本稿では,スパースネットワークのトレーニングダイナミクスと高密度ネットワークのトレーニングダイナミクスを一致させるアルゴリズムを提案する。 NTKスペクトルにおける通常無視されるデータ依存成分がどのように考慮されるかを示す。 パスeXclusion(PX)は、高頻度でも宝くじを見つけることができる。
  論文  参考訳（メタデータ） (2024-06-03T22:19:42Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• ZerO Initialization: Initializing Residual Networks with only Zeros and Ones [44.66636787050788]
  ディープニューラルネットワークは通常ランダムウェイトを持ち、トレーニング中に安定した信号伝達を保証するために適切に選択された初期分散を持つ。 ばらつきの選択方法にはコンセンサスがなく、レイヤーの数が増えるにつれて、これは難しくなります。 本研究では、広く使われているランダムウェイト初期化を、ゼロと1しか持たない残差ネットワークを初期化する完全決定論的初期化スキームZerOに置き換える。 驚くべきことに、ZerOはImageNetを含むさまざまな画像分類データセットに対して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-10-25T06:17:33Z)
• Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping [46.083745557823164]
  我々は、深層ネットワークに存在する主な病理組織を特定し、それらが高速にトレーニングされ、目に見えないデータに一般化されるのを防ぐ。 本稿では,ネットワークのカーネル関数の「形状」を慎重に制御することで,これらを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-10-05T00:49:36Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network Optimization [16.85167651136133]
  スパースネットワークのトレーニングについて、より広い視点で考察し、スパースモデルにおける正規化、最適化、アーキテクチャ選択の役割について考察する。 アーキテクチャ設計とトレーニング体制の側面を再考することにより,スパースネットワーク内の勾配流を改善することができることを示す。
  論文  参考訳（メタデータ） (2021-02-02T18:40:26Z)
• Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
  本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。 我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
  論文  参考訳（メタデータ） (2020-07-01T23:34:35Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。