論文の概要: Multilayer Lookahead: a Nested Version of Lookahead

• arxiv url: http://arxiv.org/abs/2110.14254v1
• Date: Wed, 27 Oct 2021 08:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:26:07.104766
• Title: Multilayer Lookahead: a Nested Version of Lookahead
• Title（参考訳）: マルチレイヤーLookahead:Lookaheadのネストバージョン
• Authors: Denys Pushkin and Luis Barba
• Abstract要約: 我々は最近提案されたLookaheadに焦点をあて、広範囲のアプリケーションでSGDを改善する。 CIFAR-100分類タスクや,データセット上でのGAN訓練において,Multilayer Lookaheadが優れていることを示す。
• 参考スコア（独自算出の注目度）: 1.827510863075184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, SGD and its variants have become the standard tool to train Deep Neural Networks. In this paper, we focus on the recently proposed variant Lookahead, which improves upon SGD in a wide range of applications. Following this success, we study an extension of this algorithm, the \emph{Multilayer Lookahead} optimizer, which recursively wraps Lookahead around itself. We prove the convergence of Multilayer Lookahead with two layers to a stationary point of smooth non-convex functions with $O(\frac{1}{\sqrt{T}})$ rate. We also justify the improved generalization of both Lookahead over SGD, and of Multilayer Lookahead over Lookahead, by showing how they amplify the implicit regularization effect of SGD. We empirically verify our results and show that Multilayer Lookahead outperforms Lookahead on CIFAR-10 and CIFAR-100 classification tasks, and on GANs training on the MNIST dataset.
• Abstract（参考訳）: 近年、sgdとその変種はディープニューラルネットワークを訓練する標準的なツールとなっている。 本稿では,最近提案されたLookaheadに焦点をあて,広範囲のアプリケーションにおいてSGDを改善する。 この成功の後、我々はこのアルゴリズムの拡張である \emph{Multilayer Lookahead} オプティマイザについて検討した。 O(\frac{1}{\sqrt{T}})$ rate で滑らかな非凸関数の定常点に2つの層を持つ多層ルックアヘッドの収束を証明した。 また、SGD上のLookaheadとLookahead上のMultilayerLookaheadの両方の改善を正当化し、SGDの暗黙の正規化効果をどのように増幅するかを示す。 CIFAR-10 と CIFAR-100 の分類タスク,MNIST データセットの GAN トレーニングにおいて,MNIST が Lookahead よりも優れていることを示す。

関連論文リスト

• ASAG: Building Strong One-Decoder-Layer Sparse Detectors via Adaptive Sparse Anchor Generation [50.01244854344167]
  適応スパースアンカージェネレータ(ASAG)の提案により、スパース検出器と密度検出器のパフォーマンスギャップを橋渡しする。 ASAGは、グリッドではなくパッチの動的なアンカーを予測することで、機能競合の問題を軽減する。 提案手法は高密度な手法より優れ,高速かつ高精度なトレードオフを実現する。
  論文  参考訳（メタデータ） (2023-08-18T02:06:49Z)
• Structure-Aware DropEdge Towards Deep Graph Convolutional Networks [83.38709956935095]
  グラフ畳み込みネットワーク(GCN)は、複数のレイヤが積み重なると、パフォーマンスが著しく低下する。 オーバースムーシングは、入力からのネットワーク出力を、ネットワーク深さの増加、表現率の低下、およびトレーニング容易性によって分離する。 我々はDropEdgeの洗練された対策について検討する。
  論文  参考訳（メタデータ） (2023-06-21T08:11:40Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Scale Attention for Learning Deep Face Representation: A Study Against Visual Scale Variation [69.45176408639483]
  我々はスケール空間理論に頼って凸層を再構築する。 我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。 単発方式として、推論はマルチショット融合よりも効率的である。
  論文  参考訳（メタデータ） (2022-09-19T06:35:04Z)
• RPT++: Customized Feature Representation for Siamese Visual Tracking [16.305972000224358]
  視覚的トラッキングの性能向上は,有意な領域から抽出された特徴が,より認識可能な視覚的パターンを提供するため,限られていると我々は主張する。 タスク固有の視覚パターンを捉えるために,極性プーリングと極性プーリングという2つの特徴抽出器を提案する。 本稿では,タスク固有の特徴表現の有効性を,最近の進行トラッカーRTPに組み込むことで示す。
  論文  参考訳（メタデータ） (2021-10-23T10:58:57Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• SG-Net: Spatial Granularity Network for One-Stage Video Instance Segmentation [7.544917072241684]
  ビデオインスタンスセグメンテーション(VIS)はコンピュータビジョンにおける新しい重要なタスクである。 VISのための一段階空間粒度ネットワーク(SG-Net)を提案する。 提案手法は精度と推論速度の両方で性能を向上できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T14:31:15Z)
• Fine-Grained Dynamic Head for Object Detection [68.70628757217939]
  本稿では,各インスタンスの異なるスケールからfpn特徴の画素レベルの組み合わせを条件付きで選択する,きめ細かい動的ヘッドを提案する。 実験は,いくつかの最先端検出ベンチマークにおける提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-12-07T08:16:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。