論文の概要: Catch-Up Mix: Catch-Up Class for Struggling Filters in CNN

• arxiv url: http://arxiv.org/abs/2401.13193v1
• Date: Wed, 24 Jan 2024 02:42:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 15:43:14.628538
• Title: Catch-Up Mix: Catch-Up Class for Struggling Filters in CNN
• Title（参考訳）: キャッチアップミックス:CNNでフィルタをスラグするためのキャッチアップクラス
• Authors: Minsoo Kang, Minkoo Kang, Suhyun Kim
• Abstract要約: ディープラーニングモデルは、しばしば複雑さと過度な適合に関する課題に直面します。 注目すべき懸念の1つは、このモデルは予測を行うためのフィルターの限られたサブセットに大きく依存することが多いことである。 そこで本研究では,Catch-up Mixと呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 15.3232203753165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has made significant advances in computer vision, particularly in image classification tasks. Despite their high accuracy on training data, deep learning models often face challenges related to complexity and overfitting. One notable concern is that the model often relies heavily on a limited subset of filters for making predictions. This dependency can result in compromised generalization and an increased vulnerability to minor variations. While regularization techniques like weight decay, dropout, and data augmentation are commonly used to address this issue, they may not directly tackle the reliance on specific filters. Our observations reveal that the heavy reliance problem gets severe when slow-learning filters are deprived of learning opportunities due to fast-learning filters. Drawing inspiration from image augmentation research that combats over-reliance on specific image regions by removing and replacing parts of images, our idea is to mitigate the problem of over-reliance on strong filters by substituting highly activated features. To this end, we present a novel method called Catch-up Mix, which provides learning opportunities to a wide range of filters during training, focusing on filters that may lag behind. By mixing activation maps with relatively lower norms, Catch-up Mix promotes the development of more diverse representations and reduces reliance on a small subset of filters. Experimental results demonstrate the superiority of our method in various vision classification datasets, providing enhanced robustness.
• Abstract（参考訳）: ディープラーニングはコンピュータビジョン、特に画像分類タスクにおいて大きな進歩を遂げている。 トレーニングデータの精度は高いが、ディープラーニングモデルは複雑さと過剰適合に関する課題に直面することが多い。 注目すべき懸念の1つは、モデルが予測を行うためのフィルターの限られたサブセットに大きく依存していることである。 この依存関係は、妥協された一般化と小さなバリエーションに対する脆弱性の増加をもたらす可能性がある。 重みの減衰、ドロップアウト、データ拡張といった正規化技術は、この問題に対処するために一般的に用いられるが、特定のフィルターに依存しない可能性がある。 その結果,低速学習フィルタが高速学習フィルタによって学習機会を奪われると,重回帰問題は深刻になることがわかった。 画像部分の除去・置換によって特定の画像領域への過度な依存に対処できる画像拡張研究からインスピレーションを得て,高活性化された特徴を置換することにより,強いフィルタへの過度な依存の問題を緩和する。 そこで本研究では,学習中の幅広いフィルタに学習機会を提供し,遅れる可能性のあるフィルタに着目した,キャッチアップ・ミックスという新しい手法を提案する。 アクティベーションマップを比較的低い基準で混合することで、キャッチアップミックスはより多様な表現の開発を促進し、フィルターの小さなサブセットへの依存を減らす。 種々の視覚分類データセットにおいて,本手法が優れていることを示す実験結果が得られた。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Frequency Dropout: Feature-Level Regularization via Randomized Filtering [24.53978165468098]
  深層畳み込みニューラルネットワークは、トレーニング信号から急激な相関を拾うことができる。 本稿では、畳み込みニューラルネットワークが周波数固有の画像特徴を学習するのを防ぐためのトレーニング戦略である周波数ドロップアウトを提案する。 提案手法は,予測精度の向上だけでなく,ドメインシフトに対する堅牢性の向上も示唆している。
  論文  参考訳（メタデータ） (2022-09-20T16:42:21Z)
• Patch-wise Contrastive Style Learning for Instagram Filter Removal [3.867363075280544]
  ソーシャルメディアフィルターは、現実世界のビジュアル分析アプリケーションにおいて、様々な汚職や摂動の最も一般的なリソースの1つである。 Contrastive Instagram Filter removed Network (CIFR)を導入し、新しいマルチレイヤパッチワイドコントラスト学習機構を用いることで、Instagramフィルタ除去のこの考え方を強化する。
  論文  参考訳（メタデータ） (2022-04-15T14:38:28Z)
• Adversarial Robustness through the Lens of Convolutional Filters [2.0305676256390934]
  逆学習モデルで形成される3x3畳み込みフィルタについて検討する。 フィルタは、linf-RobustBench CIFAR-10/100とImageNet1kのリーダーボードの71のパブリックモデルから抽出される。
  論文  参考訳（メタデータ） (2022-04-05T20:29:16Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Content-adaptive Representation Learning for Fast Image Super-resolution [6.5468866820512215]
  我々は、パッチワイドなローリングネットワークをコンテント順応して画像の難易度に応じて復元することで、画像SRの効率性の問題に対処する。 難易度を無視する既存の研究とは対照的に、ニューラルネットワークの異なる段階を採用して画像復元を行う。 我々のモデルは、重要な加速を示すだけでなく、最先端の性能も維持する。
  論文  参考訳（メタデータ） (2021-05-20T10:24:29Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Recognizing Instagram Filtered Images with Feature De-stylization [81.38905784617089]
  本稿では,Instagramのフィルターによって,事前学習モデルがどのような影響を受けているかについて検討する。 画像のグローバルな外観を変えるだけの単純な構造保存フィルタは、畳み込み特徴空間に大きな違いをもたらす可能性が示唆された。 我々は,特徴マップのスケーリングとシフトに使用されるパラメータを予測し,フィルタによって引き起こされる変化を“無視”する,軽量なデスティル化モジュールを導入する。
  論文  参考訳（メタデータ） (2019-12-30T16:48:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。