論文の概要: CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters

• arxiv url: http://arxiv.org/abs/2203.15331v1
• Date: Tue, 29 Mar 2022 08:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 13:42:43.860610
• Title: CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters
• Title（参考訳）: CNNフィルタDB:訓練された畳み込みフィルタの実証的研究
• Authors: Paul Gavrikov and Janis Keuper
• Abstract要約: モデル事前学習は、サイズと分散条件を満たす場合、任意のデータセットで成功することを示す。 事前学習された多くのモデルには、劣化したフィルタが含まれており、それによって、より堅牢で、ターゲットアプリケーションの微調整に適さないことが示される。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, many theoretical as well as practically relevant questions towards the transferability and robustness of Convolutional Neural Networks (CNNs) remain unsolved. While ongoing research efforts are engaging these problems from various angles, in most computer vision related cases these approaches can be generalized to investigations of the effects of distribution shifts in image data. In this context, we propose to study the shifts in the learned weights of trained CNN models. Here we focus on the properties of the distributions of dominantly used 3x3 convolution filter kernels. We collected and publicly provide a dataset with over 1.4 billion filters from hundreds of trained CNNs, using a wide range of datasets, architectures, and vision tasks. In a first use case of the proposed dataset, we can show highly relevant properties of many publicly available pre-trained models for practical applications: I) We analyze distribution shifts (or the lack thereof) between trained filters along different axes of meta-parameters, like visual category of the dataset, task, architecture, or layer depth. Based on these results, we conclude that model pre-training can succeed on arbitrary datasets if they meet size and variance conditions. II) We show that many pre-trained models contain degenerated filters which make them less robust and less suitable for fine-tuning on target applications. Data & Project website: https://github.com/paulgavrikov/cnn-filter-db
• Abstract（参考訳）: 現在、畳み込みニューラルネットワーク(CNN)の伝達可能性と堅牢性に関する理論的および実践的な問題の多くは未解決のままである。 研究は様々な角度から行われているが、ほとんどのコンピュータビジョン関連の場合、これらの手法は画像データにおける分布シフトの影響についての研究に一般化することができる。 そこで本研究では,CNNモデルの学習重量の変化について検討する。 本稿では,支配的に使用される3x3畳み込みフィルタカーネルの分布特性について考察する。 私たちは、広範囲のデータセット、アーキテクチャ、ビジョンタスクを使用して、数百のトレーニング済みCNNから14億以上のフィルタでデータセットを収集し、公開しました。 提案したデータセットの最初のユースケースでは、実用用途のために利用可能な多くの事前トレーニング済みモデルの高関連性を示すことができる。I)データセット、タスク、アーキテクチャ、層深さといったメタパラメータの異なる軸に沿ったトレーニング済みフィルタ間の分散シフト(またはその欠如)を分析する。 これらの結果から,モデルの事前学習は,サイズや分散条件を満たせば任意のデータセットで成功すると結論づけた。 二) 事前学習されたモデルの多くは, 劣化したフィルタを含んでおり, 対象とするアプリケーションの微調整にはあまり適さないことを示す。 Data & ProjectのWebサイト: https://github.com/paulgavrikov/cnn-filter-db

関連論文リスト

• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• A Continuous Convolutional Trainable Filter for Modelling Unstructured Data [0.0]
  トレーニング可能な畳み込みフィルタの連続バージョンを提案する。 実験の結果,連続フィルタは最先端の離散フィルタに匹敵する精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-24T17:34:10Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• An Empirical Investigation of Model-to-Model Distribution Shifts in Trained Convolutional Filters [2.0305676256390934]
  本稿では,様々なコンピュータビジョンタスクに使用される画像データの分布変化について検討した結果について述べる。 元のトレーニングデータやテストデータを解析する代わりに、訓練されたモデルの学習重量の変化を研究することを提案する。
  論文  参考訳（メタデータ） (2022-01-20T21:48:12Z)
• Single-stream CNN with Learnable Architecture for Multi-source Remote Sensing Data [16.810239678639288]
  マルチソースリモートセンシングデータ共同分類のための,深層畳み込みニューラルネットワーク(CNN)に基づく効率的なフレームワークを提案する。 提案手法は,最新のCNNモデルを任意のマルチソースリモートセンシングデータセットに理論的に調整することができる。 実験により,提案したシングルストリームCNNの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-13T16:10:41Z)
• Benchmarking CNN on 3D Anatomical Brain MRI: Architectures, Data Augmentation and Deep Ensemble Learning [2.1446056201053185]
  我々は最近のSOTA(State-of-the-art)3D CNNの広範なベンチマークを提案し、データ拡張と深層アンサンブル学習の利点も評価した。 年齢予測,性別分類,統合失調症診断の3つの課題について,N=10kスキャンを含む多地点の脳解剖学的MRIデータセットを用いて実験を行った。 その結果,VBM画像の予測精度は擬似RAWデータよりも有意に向上した。 DenseNetとSmall-DenseNetは、私たちが提案したより軽量なバージョンで、すべてのデータレシエーションのパフォーマンスにおいて優れた妥協を提供する。
  論文  参考訳（メタデータ） (2021-06-02T13:00:35Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。