論文の概要: What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective

• arxiv url: http://arxiv.org/abs/2003.11241v1
• Date: Wed, 25 Mar 2020 07:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 03:23:34.712192
• Title: What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective
• Title（参考訳）: グローバルな共分散ポーリングによるCNNのメリット - 最適化の視点から
• Authors: Qilong Wang, Li Zhang, Banggu Wu, Dongwei Ren, Peihua Li, Wangmeng Zuo, Qinghua Hu
• Abstract要約: 我々は最適化の観点から、GCPの深いCNNのメリットを理解する試みを行っている。 GCPは最適化のランドスケープをよりスムーズにし、勾配をより予測できることを示す。 多様なタスクに対して様々な深部CNNモデルを用いて広範な実験を行い,その結果を強く支持する。
• 参考スコア（独自算出の注目度）: 102.37204254403038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have demonstrated that global covariance pooling (GCP) has the ability to improve performance of deep convolutional neural networks (CNNs) on visual classification task. Despite considerable advance, the reasons on effectiveness of GCP on deep CNNs have not been well studied. In this paper, we make an attempt to understand what deep CNNs benefit from GCP in a viewpoint of optimization. Specifically, we explore the effect of GCP on deep CNNs in terms of the Lipschitzness of optimization loss and the predictiveness of gradients, and show that GCP can make the optimization landscape more smooth and the gradients more predictive. Furthermore, we discuss the connection between GCP and second-order optimization for deep CNNs. More importantly, above findings can account for several merits of covariance pooling for training deep CNNs that have not been recognized previously or fully explored, including significant acceleration of network convergence (i.e., the networks trained with GCP can support rapid decay of learning rates, achieving favorable performance while significantly reducing number of training epochs), stronger robustness to distorted examples generated by image corruptions and perturbations, and good generalization ability to different vision tasks, e.g., object detection and instance segmentation. We conduct extensive experiments using various deep CNN models on diversified tasks, and the results provide strong support to our findings.
• Abstract（参考訳）: 近年の研究では、グローバル共分散プーリング(GCP)が、視覚的分類タスクにおける深層畳み込みニューラルネットワーク(CNN)の性能を向上させる能力を持っていることが示されている。 かなりの進歩にもかかわらず、深層cnnにおけるgcpの有効性の理由は十分に研究されていない。 本稿では,最適化の観点から,GCPの深いCNNのメリットを理解するための試みを行う。 具体的には、最適化損失のリプシッツ性と勾配の予測性の観点から、深いcnnに対するgcpの影響を調べ、gcpが最適化のランドスケープをよりスムーズにし、勾配をより予測できることを示す。 さらに、深層cnnの2次最適化とgcpの関係についても論じる。 More importantly, above findings can account for several merits of covariance pooling for training deep CNNs that have not been recognized previously or fully explored, including significant acceleration of network convergence (i.e., the networks trained with GCP can support rapid decay of learning rates, achieving favorable performance while significantly reducing number of training epochs), stronger robustness to distorted examples generated by image corruptions and perturbations, and good generalization ability to different vision tasks, e.g., object detection and instance segmentation. 多様なタスクに対して様々な深部CNNモデルを用いて広範な実験を行い,その結果を強く支持する。

関連論文リスト

• Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be? [0.0]
  本研究では、物理インフォームドニューラルネットワークの潜在的な精度について、従来の類似した研究や従来の数値手法と対比して検討する。 改良された最適化アルゴリズムを選択することで、結果の精度が大幅に向上することがわかった。 損失関数の簡単な修正は精度を向上し、拡張のための追加の道を提供する。
  論文  参考訳（メタデータ） (2024-05-07T11:50:25Z)
• Optimizing Neural Network Scale for ECG Classification [1.8953148404648703]
  心電図(ECG)解析のための残留ニューラルネットワーク(ResNet)を対象とするスケーリング畳み込みニューラルネットワーク(CNN)について検討する。 本研究では,層深さ,チャネル数,コンボリューションカーネルサイズといった重要なパラメータの影響を調べることで,ResNetのスケールアップに有効な手法を探索し,実証した。 我々の発見は、計算資源が少ないか、少ない時間でより効率的で正確なモデルを得るための洞察を与えてくれる。
  論文  参考訳（メタデータ） (2023-08-24T01:26:31Z)
• Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective [22.82625446308785]
  グラフニューラルネットワーク(GNN)の理解のための新しい視点を提案する。 本研究では,深いGNNに着目し,その理解のための新しい視点を提案する。 我々はより強力なGNN:結合グラフニューラルネットワーク(CoGNet)を設計する。
  論文  参考訳（メタデータ） (2023-01-25T12:02:12Z)
• Online Adaptation of Monocular Depth Prediction with Visual SLAM [8.478040209440868]
  CNNによる正確な深度予測の能力は、実用的な視界SLAMアプリケーションで広く利用されている大きな課題である。 深度予測を微調整する2つの相補的なプロセスからなる新しいオンライン適応フレームワークを提案する。 実験環境におけるベンチマークデータセットと実ロボットの両方の実験結果から,提案手法がSLAM再構成精度を向上させることを示す。
  論文  参考訳（メタデータ） (2021-11-07T14:20:35Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Fusion of CNNs and statistical indicators to improve image classification [65.51757376525798]
  畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。 この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。 我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
  論文  参考訳（メタデータ） (2020-12-20T23:24:31Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。