論文の概要: An Empirical Investigation of Model-to-Model Distribution Shifts in Trained Convolutional Filters

• arxiv url: http://arxiv.org/abs/2201.08465v1
• Date: Thu, 20 Jan 2022 21:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-24 13:08:00.236803
• Title: An Empirical Investigation of Model-to-Model Distribution Shifts in Trained Convolutional Filters
• Title（参考訳）: 学習畳み込みフィルタにおけるモデル-モデル分布シフトの実証的研究
• Authors: Paul Gavrikov, Janis Keuper
• Abstract要約: 本稿では,様々なコンピュータビジョンタスクに使用される画像データの分布変化について検討した結果について述べる。 元のトレーニングデータやテストデータを解析する代わりに、訓練されたモデルの学習重量の変化を研究することを提案する。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present first empirical results from our ongoing investigation of distribution shifts in image data used for various computer vision tasks. Instead of analyzing the original training and test data, we propose to study shifts in the learned weights of trained models. In this work, we focus on the properties of the distributions of dominantly used 3x3 convolution filter kernels. We collected and publicly provide a data set with over half a billion filters from hundreds of trained CNNs, using a wide range of data sets, architectures, and vision tasks. Our analysis shows interesting distribution shifts (or the lack thereof) between trained filters along different axes of meta-parameters, like data type, task, architecture, or layer depth. We argue, that the observed properties are a valuable source for further investigation into a better understanding of the impact of shifts in the input data to the generalization abilities of CNN models and novel methods for more robust transfer-learning in this domain. Data available at: https://github.com/paulgavrikov/CNN-Filter-DB/.
• Abstract（参考訳）: 本稿では,様々なコンピュータビジョンタスクに使用される画像データの分布変化について検討した結果について述べる。 元のトレーニングとテストデータを解析する代わりに、トレーニングモデルの学習重みの変化を研究することを提案する。 本研究では,支配的に使用される3x3畳み込みフィルタカーネルの分布特性に着目する。 私たちは、さまざまなデータセット、アーキテクチャ、ビジョンタスクを使用して、何百ものトレーニングされたcnnから50億以上のフィルタを備えたデータセットを収集し、公開しました。 解析の結果,データタイプ,タスク,アーキテクチャ,レイヤ深さなど,さまざまなメタパラメータの軸に沿って,訓練されたフィルタ間の興味深い分散シフト(あるいはその欠如)が示されている。 我々は、観測された特性がCNNモデルの一般化能力への入力データの変化の影響や、この領域におけるより堅牢な転写学習のための新しい手法の理解を深めるための貴重な情報源であると主張している。 https://github.com/paulgavrikov/CNN-Filter-DB/

関連論文リスト

• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• The Devil is in the Details: A Deep Dive into the Rabbit Hole of Data Filtering [23.68112988933411]
  本稿では,DataComp チャレンジに参加する際の学習と解決について述べる。 我々のフィルタリング戦略は, 単一モダリティフィルタリング, クロスモダリティフィルタリング, データ分散アライメントの3段階を含む。 提案手法は,3つのタスクの平均的なパフォーマンスに対して4%以上,ImageNetでは2%以上,DataComp論文のベストメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-09-27T19:10:43Z)
• Deep learning for diffusion in porous media [0.0]
  我々は多孔質媒体の基本特性を予測するために畳み込みニューラルネットワーク(CNN)を採用している。 2つの異なるメディアタイプが考慮されている: 1つは砂の包装を模倣し、もう1つは生体組織の細胞外空間に由来するシステムを模倣する。
  論文  参考訳（メタデータ） (2023-04-04T20:17:44Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters [2.0305676256390934]
  モデル事前学習は、サイズと分散条件を満たす場合、任意のデータセットで成功することを示す。 事前学習された多くのモデルには、劣化したフィルタが含まれており、それによって、より堅牢で、ターゲットアプリケーションの微調整に適さないことが示される。
  論文  参考訳（メタデータ） (2022-03-29T08:25:42Z)
• Benchmarking CNN on 3D Anatomical Brain MRI: Architectures, Data Augmentation and Deep Ensemble Learning [2.1446056201053185]
  我々は最近のSOTA(State-of-the-art)3D CNNの広範なベンチマークを提案し、データ拡張と深層アンサンブル学習の利点も評価した。 年齢予測,性別分類,統合失調症診断の3つの課題について,N=10kスキャンを含む多地点の脳解剖学的MRIデータセットを用いて実験を行った。 その結果,VBM画像の予測精度は擬似RAWデータよりも有意に向上した。 DenseNetとSmall-DenseNetは、私たちが提案したより軽量なバージョンで、すべてのデータレシエーションのパフォーマンスにおいて優れた妥協を提供する。
  論文  参考訳（メタデータ） (2021-06-02T13:00:35Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。