論文の概要: The Unreasonable Effectiveness of Patches in Deep Convolutional Kernels Methods

• arxiv url: http://arxiv.org/abs/2101.07528v1
• Date: Tue, 19 Jan 2021 09:30:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:29:41.305242
• Title: The Unreasonable Effectiveness of Patches in Deep Convolutional Kernels Methods
• Title（参考訳）: 深層畳み込み核法におけるパッチの無理な有効性
• Authors: Louis Thiry (DI-ENS), Michael Arbel (UCL), Eugene Belilovsky (MILA), Edouard Oyallon (MLIA)
• Abstract要約: 本稿では,畳み込みカーネル法の性能向上の鍵となる,データ依存型特徴抽出手法の重要性を示す。 この手法を挑戦的なImageNetデータセットにスケールアップし、そのような単純なアプローチが既存のすべての非学習表現メソッドを超えることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A recent line of work showed that various forms of convolutional kernel methods can be competitive with standard supervised deep convolutional networks on datasets like CIFAR-10, obtaining accuracies in the range of 87-90% while being more amenable to theoretical analysis. In this work, we highlight the importance of a data-dependent feature extraction step that is key to the obtain good performance in convolutional kernel methods. This step typically corresponds to a whitened dictionary of patches, and gives rise to a data-driven convolutional kernel methods. We extensively study its effect, demonstrating it is the key ingredient for high performance of these methods. Specifically, we show that one of the simplest instances of such kernel methods, based on a single layer of image patches followed by a linear classifier is already obtaining classification accuracies on CIFAR-10 in the same range as previous more sophisticated convolutional kernel methods. We scale this method to the challenging ImageNet dataset, showing such a simple approach can exceed all existing non-learned representation methods. This is a new baseline for object recognition without representation learning methods, that initiates the investigation of convolutional kernel models on ImageNet. We conduct experiments to analyze the dictionary that we used, our ablations showing they exhibit low-dimensional properties.
• Abstract（参考訳）: 最近の一連の研究は、CIFAR-10のようなデータセット上の標準的な教師付き深層畳み込みネットワークと競合し、87-90%の範囲で精度を得ながら、理論解析に適していることを示した。 本稿では,畳み込み型カーネルメソッドの性能向上の鍵となる,データ依存型特徴抽出ステップの重要性を強調する。 このステップは一般的にパッチの白付き辞書に対応し、データ駆動の畳み込み型カーネルメソッドを生み出します。 本研究は,これらの手法の高性能化の鍵となる要素であることを示すとともに,その効果を広く研究する。 具体的には、画像パッチの単一層に線形分類器を付加したカーネルメソッドの最も単純な例の一つが、CIFAR-10の分類精度を従来のより洗練された畳み込みカーネルメソッドと同じ範囲で取得していることを示す。 我々は,この手法を課題の多いimagenetデータセットに拡張し,既存の非学習表現法をすべて越えることができることを示す。 これは、イメージネット上の畳み込みカーネルモデルの調査を開始する、表現学習手法のないオブジェクト認識の新しいベースラインである。 使用辞書を解析するための実験を行い,低次元特性を示すアブレーションを行った。

関連論文リスト

• Fast and Scalable Multi-Kernel Encoder Classifier [4.178980693837599]
  提案手法は,高速でスケーラブルなカーネルマトリックスの埋め込みを容易にするとともに,複数のカーネルをシームレスに統合して学習プロセスを向上する。 我々の理論解析は、確率変数を用いたこのアプローチの集団レベルの特徴付けを提供する。
  論文  参考訳（メタデータ） (2024-06-04T10:34:40Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• A Framework and Benchmark for Deep Batch Active Learning for Regression [2.093287944284448]
  ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。 本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。 提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
  論文  参考訳（メタデータ） (2022-03-17T16:11:36Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Neural Fields as Learnable Kernels for 3D Reconstruction [101.54431372685018]
  本稿では,学習したカーネルリッジの回帰に基づいて,暗黙の3次元形状を再構成する手法を提案する。 本手法は,3次元オブジェクトと大画面をスパース指向の点から再構成する際の最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:04Z)
• Deep Kernel Representation for Image Reconstruction in PET [9.041102353158065]
  最適化されたカーネルモデルの自動学習を可能にするために,ディープニューラルネットワークを活用するディープカーネル手法を提案する。 コンピュータシミュレーションと実際の患者データセットの結果から,提案したディープカーネル法は既存のカーネル法やニューラルネットワーク法よりも高速で,PET画像の動的再構成が可能であることが示された。
  論文  参考訳（メタデータ） (2021-10-04T03:53:33Z)
• Kernel PCA with the Nystr\"om method [0.0]
  Nystr"om法を用いてカーネルPCAを導出し,その精度について検討する。 Nystr"om法を用いてカーネルの主成分回帰を示す。
  論文  参考訳（メタデータ） (2021-09-12T18:08:31Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)
• Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
  本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。 提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
  論文  参考訳（メタデータ） (2020-03-23T17:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。