論文の概要: Enhancing Generalization in Convolutional Neural Networks through Regularization with Edge and Line Features

• arxiv url: http://arxiv.org/abs/2410.16897v1
• Date: Tue, 22 Oct 2024 11:02:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:28:47.632424
• Title: Enhancing Generalization in Convolutional Neural Networks through Regularization with Edge and Line Features
• Title（参考訳）: エッジおよびライン特徴付き正規化による畳み込みニューラルネットワークの一般化の促進
• Authors: Christoph Linse, Beatrice Brückner, Thomas Martinetz,
• Abstract要約: 本稿では、バイアス畳み込みニューラルネットワーク(CNN)に対する新しい正規化手法を提案する。 任意のカーネルを学ぶのではなく、畳み込み層をエッジとライン検出カーネルに制約する。 テスト精度は、4つの挑戦的なきめ細かい分類データセットに対して5-11ポイントのマージンで改善される。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper proposes a novel regularization approach to bias Convolutional Neural Networks (CNNs) toward utilizing edge and line features in their hidden layers. Rather than learning arbitrary kernels, we constrain the convolution layers to edge and line detection kernels. This intentional bias regularizes the models, improving generalization performance, especially on small datasets. As a result, test accuracies improve by margins of 5-11 percentage points across four challenging fine-grained classification datasets with limited training data and an identical number of trainable parameters. Instead of traditional convolutional layers, we use Pre-defined Filter Modules, which convolve input data using a fixed set of 3x3 pre-defined edge and line filters. A subsequent ReLU erases information that did not trigger any positive response. Next, a 1x1 convolutional layer generates linear combinations. Notably, the pre-defined filters are a fixed component of the architecture, remaining unchanged during the training phase. Our findings reveal that the number of dimensions spanned by the set of pre-defined filters has a low impact on recognition performance. However, the size of the set of filters matters, with nine or more filters providing optimal results.
• Abstract（参考訳）: 本稿では,バイアス畳み込みニューラルネットワーク(CNN)に対する新たな正規化手法を提案する。 任意のカーネルを学ぶのではなく、畳み込み層をエッジとライン検出カーネルに制約する。 この意図的バイアスはモデルを正規化し、特に小さなデータセット上での一般化性能を向上させる。 その結果、試験精度は、訓練データに制限された4つの難解な分類データセットと、トレーニング可能なパラメータの同一数に対して、5～11ポイントのマージンで改善された。 従来の畳み込みレイヤの代わりに、事前に定義されたエッジとラインフィルタの固定セットを使用して入力データを畳み込み、事前定義されたフィルタモジュールを使用します。 その後のReLUは、正の反応を起こさない情報を消去する。 次に、1x1畳み込み層が線形結合を生成する。 特に、事前定義されたフィルタはアーキテクチャの固定されたコンポーネントであり、トレーニングフェーズの間は変わらない。 その結果,事前に定義したフィルタの集合によって分散された次元の数は認識性能に低い影響があることが判明した。 しかし、フィルタの集合のサイズは重要であり、9つ以上のフィルタが最適な結果を提供する。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• Perturb Initial Features: Generalization of Neural Networks Under Sparse Features for Semi-supervised Node Classification [1.3190581566723918]
  グラフニューラルネットワーク(GNN)のための新しいデータ拡張戦略を提案する。 初期特徴と超平面の両方を反転させることで、学習可能なパラメータをより正確に更新する訓練スペースを新たに作成する。 実世界のデータセットを用いた実験により,提案手法はノード分類精度を46.5%向上させることができた。
  論文  参考訳（メタデータ） (2022-11-28T05:54:24Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Resolution learning in deep convolutional networks using scale-space theory [31.275270391367425]
  ディープ畳み込みニューラルネットワーク(CNN)の解像度は、一般的に、フィルタサイズを通じて受容野のサイズと、特徴写像上の層や強みのある畳み込みによって制限される。 我々は、ハードコードされた高解像度パラメータを廃止し、データから適切な解像度を学習することを提案する。 スケール空間理論を用いてフィルタの自己相似パラメトリゼーションを求め、ガウス微分フィルタの学習的組み合わせによりフィルタを近似するために、N-Jet: truncated Taylor級数を用いる。
  論文  参考訳（メタデータ） (2021-06-07T08:23:02Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks [3.5636461829966093]
  階層型群スパース正規化を用いたフィルタプルーニング法を提案する。 CIFAR-10ではResNetの50%以上のパラメータを削減できるが、テストサンプルの精度は0.3%しか低下しない。 また、TinyImageNet-200では、ResNetの34%のパラメータがベースラインネットワークよりも高い精度で削減されている。
  論文  参考訳（メタデータ） (2020-11-04T16:29:41Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。