論文の概要: Avoiding Overfitting: A Survey on Regularization Methods for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2201.03299v1
• Date: Mon, 10 Jan 2022 11:54:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 19:11:36.554417
• Title: Avoiding Overfitting: A Survey on Regularization Methods for Convolutional Neural Networks
• Title（参考訳）: 重ね合わせを避ける:畳み込みニューラルネットワークの正規化法に関する調査
• Authors: Claudio Filipi Gon\c{c}alves dos Santos, Jo\~ao Paulo Papa
• Abstract要約: 畳み込みニューラルネットワーク(CNN)により、画像処理タスクが大幅に改善されている。 トレーニングにおける重要な要素は、ネットワークの正規化であり、構造が過度に適合することを防ぐ。 この研究は、過去数年間に開発されたいくつかの正規化手法を分析し、異なるCNNモデルの大幅な改善を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several image processing tasks, such as image classification and object detection, have been significantly improved using Convolutional Neural Networks (CNN). Like ResNet and EfficientNet, many architectures have achieved outstanding results in at least one dataset by the time of their creation. A critical factor in training concerns the network's regularization, which prevents the structure from overfitting. This work analyzes several regularization methods developed in the last few years, showing significant improvements for different CNN models. The works are classified into three main areas: the first one is called "data augmentation", where all the techniques focus on performing changes in the input data. The second, named "internal changes", which aims to describe procedures to modify the feature maps generated by the neural network or the kernels. The last one, called "label", concerns transforming the labels of a given input. This work presents two main differences comparing to other available surveys about regularization: (i) the first concerns the papers gathered in the manuscript, which are not older than five years, and (ii) the second distinction is about reproducibility, i.e., all works refered here have their code available in public repositories or they have been directly implemented in some framework, such as TensorFlow or Torch.
• Abstract（参考訳）: 画像分類や物体検出などの画像処理タスクは、畳み込みニューラルネットワーク(CNN)を用いて大幅に改善されている。 ResNetやEfficientNetのように、多くのアーキテクチャは、作成までに少なくとも1つのデータセットで優れた結果を得た。 トレーニングにおける重要な要因は、ネットワークの規則化であり、構造が過剰に適合することを防ぐ。 この研究は、過去数年間に開発されたいくつかの正規化手法を分析し、異なるCNNモデルの大幅な改善を示す。 最初のものは"データ拡張"と呼ばれ、すべてのテクニックが入力データの変更の実行に重点を置いている。 第2の"internal changes"は、ニューラルネットワークやカーネルによって生成された機能マップを修正する手順を記述することを目的としている。 最後の"label"は、入力のラベルを変換することに関するものだ。 本研究は、正規化に関する他の調査との主な違いを2つ示す。 (i)第1の事項は、5歳未満の写本に集められた書類についてである。 (ii)第2の区別は再現性に関するもので、ここで参照するすべての著作物は公開リポジトリで利用可能か、あるいはtensorflowやtorchといったフレームワークで直接実装されている。

関連論文リスト

• Dual-Path Adversarial Lifting for Domain Shift Correction in Online Test-time Adaptation [59.18151483767509]
  テスト時間適応におけるドメインシフト補正のためのデュアルパストークンリフトを導入する。 次に、インターリーブされたトークン予測とドメインシフトトークンのパスとクラストークンのパスの間の更新を行う。 評価実験の結果,提案手法はオンライン完全テスト時間領域適応性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-08-26T02:33:47Z)
• Cross-codex Learning for Reliable Scribe Identification in Medieval Manuscripts [0.0]
  CNNベースのテキスト非依存のオフライン購読識別のためのクロスコーデックストレーニングデータの重要性を示す。 私たちは、信頼性の高いネットワークアーキテクチャを定義するために、複雑なデータに基づいて異なるニューラルネットワークをトレーニングし、時間と精度の違いを検証しました。 大規模なオープンソースデータセットであるCodex Claustroneoburgensisデータベース(CCl-DB)に結果を提示します。
  論文  参考訳（メタデータ） (2023-12-07T13:40:20Z)
• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Deep vanishing point detection: Geometric priors make dataset variations vanish [24.348651041697114]
  ディープラーニングは画像の消滅点検出を改善した。 しかし、ディープネットワークは高価なハードウェアでトレーニングされた高価なアノテートデータセットを必要とする。 ここでは、これらの問題に対して、事前知識で深い消滅点検出ネットワークを注入することで対処する。
  論文  参考訳（メタデータ） (2022-03-16T12:34:27Z)
• Deep ensembles in bioimage segmentation [74.01883650587321]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを提案する。 アンサンブル法では、多くの異なるモデルが訓練され、分類に使用され、アンサンブルは単一分類器の出力を集約する。 提案するアンサンブルは,DeepLabV3+とHarDNet環境を用いて,異なるバックボーンネットワークを組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2021-12-24T05:54:21Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Deep Convolutional Neural Networks: A survey of the foundations, selected improvements, and some current applications [0.0]
  本稿では,CNN(Convolutional Neural Networks)という,そのような手法を提示し,検討する。 CNNは、畳み込みと呼ばれる特別な線形演算を使用するディープニューラルネットワークである。 本稿では、実際に非常に効果的であることが証明された畳み込みの2つの応用について論じる。
  論文  参考訳（メタデータ） (2020-11-25T19:03:23Z)
• Attentive WaveBlock: Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-identification and Beyond [97.25179345878443]
  本稿では,新しい軽量モジュールであるAttentive WaveBlock (AWB)を提案する。 AWBは相互学習の二重ネットワークに統合され、相互学習の相補性を高め、擬似ラベルのノイズをさらに抑えることができる。 実験により, 提案手法は, 複数のUDA人物再識別タスクを大幅に改善し, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T15:40:40Z)
• On the Texture Bias for Few-Shot CNN Segmentation [21.349705243254423]
  畳み込みニューラルネットワーク(CNN)は、視覚認識タスクを実行するために形状によって駆動される。 最近の証拠は、CNNのテクスチャバイアスが、大きなラベル付きトレーニングデータセットで学習するときに、より高いパフォーマンスのモデルを提供することを示している。 本稿では,特徴空間内の高周波局所成分を減衰させるために,ガウス差分(DoG)の集合を統合する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-09T11:55:47Z)
• Fully Convolutional Neural Networks for Raw Eye Tracking Data Segmentation, Generation, and Reconstruction [15.279153483132179]
  眼球追跡データのセマンティックセグメンテーションに完全畳み込みニューラルネットワークを用いる。 また、これらのネットワークを再構成に使用し、変分自動エンコーダと組み合わせて眼球運動データを生成する。
  論文  参考訳（メタデータ） (2020-02-17T06:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。