論文の概要: Curriculum By Smoothing

• arxiv url: http://arxiv.org/abs/2003.01367v5
• Date: Tue, 5 Jan 2021 04:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 21:52:21.232266
• Title: Curriculum By Smoothing
• Title（参考訳）: 平滑化によるカリキュラム
• Authors: Samarth Sinha, Animesh Garg, Hugo Larochelle
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
• 参考スコア（独自算出の注目度）: 52.08553521577014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) have shown impressive performance in computer vision tasks such as image classification, detection, and segmentation. Moreover, recent work in Generative Adversarial Networks (GANs) has highlighted the importance of learning by progressively increasing the difficulty of a learning task [26]. When learning a network from scratch, the information propagated within the network during the earlier stages of training can contain distortion artifacts due to noise which can be detrimental to training. In this paper, we propose an elegant curriculum based scheme that smoothes the feature embedding of a CNN using anti-aliasing or low-pass filters. We propose to augment the train-ing of CNNs by controlling the amount of high frequency information propagated within the CNNs as training progresses, by convolving the output of a CNN feature map of each layer with a Gaussian kernel. By decreasing the variance of the Gaussian kernel, we gradually increase the amount of high-frequency information available within the network for inference. As the amount of information in the feature maps increases during training, the network is able to progressively learn better representations of the data. Our proposed augmented training scheme significantly improves the performance of CNNs on various vision tasks without either adding additional trainable parameters or an auxiliary regularization objective. The generality of our method is demonstrated through empirical performance gains in CNN architectures across four different tasks: transfer learning, cross-task transfer learning, and generative models.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 さらに,GAN(Generative Adversarial Networks)における最近の研究は,学習課題の難易度を徐々に高めることにより,学習の重要性を強調している[26]。 ネットワークをスクラッチから学習する場合、トレーニングの初期段階にネットワーク内で伝播した情報は、トレーニングに有害なノイズによる歪みアーチファクトを含むことができる。 本稿では、アンチエイリアスやローパスフィルタを用いてCNNの機能埋め込みを円滑に行うエレガントなカリキュラムベースのスキームを提案する。 本稿では,各レイヤのCNN特徴マップをガウスカーネルで出力することにより,CNN内で伝播する高周波情報をトレーニングの進行に応じて制御することにより,CNNのトレインリングを強化することを提案する。 ガウス核の分散を小さくすることで、推論のためにネットワーク内で利用可能な高周波情報の量を徐々に増加させる。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより良い表現を徐々に学習することができる。 提案手法は,学習パラメータの追加や補助正規化の目的を伴わずに,様々な視覚タスクにおけるCNNの性能を大幅に向上させる。 提案手法の汎用性は, CNNアーキテクチャにおいて, 伝達学習, クロスタスク変換学習, 生成モデルという4つの異なるタスクにまたがる経験的性能向上によって実証される。

関連論文リスト

• Image edge enhancement for effective image classification [7.470763273994321]
  ニューラルネットワークの精度とトレーニング速度を両立させるエッジ拡張に基づく手法を提案する。 我々のアプローチは、利用可能なデータセット内の画像からエッジなどの高周波特徴を抽出し、元の画像と融合させることである。
  論文  参考訳（メタデータ） (2024-01-13T10:01:34Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Target Aware Network Architecture Search and Compression for Efficient Knowledge Transfer [9.434523476406424]
  本稿では,効率的な知識伝達を可能にするTASCNetという2段階のフレームワークを提案する。 TASCNetは、トレーニング可能なパラメータとFLOPの両方を削減することにより、目標タスク上の事前学習されたCNNの計算複雑性を低減する。 コンピュータビジョンタスクと同様に、映画レビューセンチメント分析タスクでも実験を行った。
  論文  参考訳（メタデータ） (2022-05-12T09:11:00Z)
• Knowledge Distillation Circumvents Nonlinearity for Optical Convolutional Neural Networks [4.683612295430957]
  本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発する。 KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。
  論文  参考訳（メタデータ） (2021-02-26T06:35:34Z)
• Fusion of CNNs and statistical indicators to improve image classification [65.51757376525798]
  畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。 この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。 我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
  論文  参考訳（メタデータ） (2020-12-20T23:24:31Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Collaborative Method for Incremental Learning on Classification and Generation [32.07222897378187]
  本稿では,ニューラルネットワークを用いたインクリメンタルなクラス学習のための新しいアルゴリズム,Incrmental Class Learning with Attribute Sharing (ICLAS)を導入する。 そのコンポーネントの1つであるincGANは、トレーニングデータよりも多彩な画像を生成することができる。 データ不足の困難な環境下で、ICLASは段階的に分類と生成ネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-10-29T06:34:53Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。