論文の概要: Learning from Small Samples: Transformation-Invariant SVMs with
Composition and Locality at Multiple Scales
- arxiv url: http://arxiv.org/abs/2109.12784v2
- Date: Tue, 28 Sep 2021 05:31:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 12:01:36.226702
- Title: Learning from Small Samples: Transformation-Invariant SVMs with
Composition and Locality at Multiple Scales
- Title（参考訳）: 小さなサンプルから学ぶ:複数スケールで構成と局所性を持つ変換不変SVM
- Authors: Tao Liu, P. R. Kumar, Xi Liu
- Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)を成功させた、サポートベクターマシン(SVM)に組み込む方法を示す。
- 参考スコア（独自算出の注目度）: 11.210266084524998
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the problem of learning when the number of training samples is
small, this paper shows how to incorporate into support-vector machines (SVMs)
those properties that have made convolutional neural networks (CNNs)
successful. Particularly important is the ability to incorporate domain
knowledge of invariances, e.g., translational invariance of images. Kernels
based on the \textit{minimum} distance over a group of transformations, which
corresponds to defining similarity as the \textit{best} over the possible
transformations, are not generally positive definite. Perhaps it is for this
reason that they have neither previously been experimentally tested for their
performance nor studied theoretically. Instead, previous attempts have employed
kernels based on the \textit{average} distance over a group of transformations,
which are trivially positive definite, but which generally yield both poor
margins as well as poor performance, as we show. We address this lacuna and
show that positive definiteness indeed holds \textit{with high probability} for
kernels based on the minimum distance in the small training sample set regime
of interest, and that they do yield the best results in that regime. Another
important property of CNNs is their ability to incorporate local features at
multiple spatial scales, e.g., through max pooling. A third important property
is their ability to provide the benefits of composition through the
architecture of multiple layers. We show how these additional properties can
also be embedded into SVMs. We verify through experiments on widely available
image sets that the resulting SVMs do provide superior accuracy in comparison
to well-established deep neural network (DNN) benchmarks for small sample
sizes.
- Abstract（参考訳）: トレーニングサンプル数が少ない場合の学習の問題に動機づけられた本論文は,畳み込みニューラルネットワーク(cnns)を成功させた特性をサポートベクトルマシン(svm)に組み込む方法を示す。
特に重要なのは、画像の翻訳的不変性など、不変性のドメイン知識を組み込む能力である。
変換群上の \textit{minimum} 距離に基づくカーネルは、可能な変換上の \textit{best} と類似性を定義するのに対応するが、一般には正定値ではない。
そのためか、以前は実験的な実験も理論的な研究も行われていなかった。
その代わり、以前の試みでは変換群上の \textit{average} 距離に基づくカーネルを採用しており、これは自明に正の定値であるが、概して粗利率と貧弱な性能の両方をもたらす。
我々はこのラグナに対処し、正の定性は、小さなトレーニングサンプルセットの興味のある状態における最小距離に基づいて、カーネルに対して真に \textit{with high probability} を保持することを示し、それらがその状態において最良の結果をもたらすことを示す。
CNNのもう1つの重要な特性は、局所的な特徴を複数の空間スケールで組み込む能力である。
3つ目の重要な特性は、複数のレイヤのアーキテクチャを通して構成の利点を提供する能力である。
これらの追加プロパティをSVMに組み込む方法を示す。
本稿では,広く利用可能な画像セットを用いた実験により,svmが確立したディープニューラルネットワーク(dnn)ベンチマークと比較し,精度が向上することを確認した。
関連論文リスト
- SO(2) and O(2) Equivariance in Image Recognition with
Bessel-Convolutional Neural Networks [63.24965775030674]
この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す
B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。
他の手法と比較して,B-CNNの性能を評価するために検討を行った。
論文 参考訳（メタデータ） (2023-04-18T18:06:35Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。
焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。
スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
論文 参考訳（メタデータ） (2022-04-26T17:34:10Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Exploiting Invariance in Training Deep Neural Networks [4.169130102668252]
動物視覚システムの2つの基本的なメカニズムに触発され、ディープニューラルネットワークのトレーニングに不変性を与える特徴変換技術を紹介します。
結果として得られるアルゴリズムはパラメータチューニングを少なくし、初期学習率1.0でうまくトレーニングし、異なるタスクに簡単に一般化する。
ImageNet、MS COCO、Cityscapesデータセットでテストされた当社の提案手法は、トレーニングにより少ないイテレーションを必要とし、すべてのベースラインを大きなマージンで上回り、小規模および大規模のバッチサイズのトレーニングをシームレスに行い、画像分類、オブジェクト検出、セマンティックセグメンテーションの異なるコンピュータビジョンタスクに適用します。
論文 参考訳（メタデータ） (2021-03-30T19:18:31Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z) - Margin-Based Regularization and Selective Sampling in Deep Neural
Networks [7.219077740523683]
我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。
CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
論文 参考訳（メタデータ） (2020-09-13T15:06:42Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z) - On the Texture Bias for Few-Shot CNN Segmentation [21.349705243254423]
畳み込みニューラルネットワーク(CNN)は、視覚認識タスクを実行するために形状によって駆動される。
最近の証拠は、CNNのテクスチャバイアスが、大きなラベル付きトレーニングデータセットで学習するときに、より高いパフォーマンスのモデルを提供することを示している。
本稿では,特徴空間内の高周波局所成分を減衰させるために,ガウス差分(DoG)の集合を統合する新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-09T11:55:47Z) - Convolutional Support Vector Machine [1.5990720051907859]
本稿では、より小さなデータセットをマイニングする精度と有効性を改善するために、CNNとSVMの両方の利点を持つ新しい畳み込みSVM(CSVM)を提案する。
提案したCSVMの性能を評価するため,分類問題に対する5つのよく知られたベンチマークデータベースをテストする実験を行った。
論文 参考訳（メタデータ） (2020-02-11T11:23:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。