論文の概要: Kernel-convoluted Deep Neural Networks with Data Augmentation

• arxiv url: http://arxiv.org/abs/2012.02521v2
• Date: Thu, 24 Dec 2020 00:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 20:37:43.660102
• Title: Kernel-convoluted Deep Neural Networks with Data Augmentation
• Title（参考訳）: データ拡張を用いたカーネル畳み込み深層ニューラルネットワーク
• Authors: Minjin Kim, Young-geun Kim, Dongha Kim, Yongdai Kim, Myunghee Cho Paik
• Abstract要約: 本研究では,スムーズな制約を明示的に課す方法を提案し,それを暗黙的なモデル制約に組み込むように拡張する。 そこでは,カーネル関数を局所的に平均化することにより,スムーズ性制約を直接課すカーネル共分散モデル (KCM) からなる新しい関数クラスを導出する。 ここでは、(n) がサンプルサイズである (O(n-1/2)) よりも早く混合の摂動が消える場合、混合による KCM の上界は KCM が支配することを示す。
• 参考スコア（独自算出の注目度）: 10.980843359428254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Mixup method (Zhang et al. 2018), which uses linearly interpolated data, has emerged as an effective data augmentation tool to improve generalization performance and the robustness to adversarial examples. The motivation is to curtail undesirable oscillations by its implicit model constraint to behave linearly at in-between observed data points and promote smoothness. In this work, we formally investigate this premise, propose a way to explicitly impose smoothness constraints, and extend it to incorporate with implicit model constraints. First, we derive a new function class composed of kernel-convoluted models (KCM) where the smoothness constraint is directly imposed by locally averaging the original functions with a kernel function. Second, we propose to incorporate the Mixup method into KCM to expand the domains of smoothness. In both cases of KCM and the KCM adapted with the Mixup, we provide risk analysis, respectively, under some conditions for kernels. We show that the upper bound of the excess risk is not slower than that of the original function class. The upper bound of the KCM with the Mixup remains dominated by that of the KCM if the perturbation of the Mixup vanishes faster than \(O(n^{-1/2})\) where \(n\) is a sample size. Using CIFAR-10 and CIFAR-100 datasets, our experiments demonstrate that the KCM with the Mixup outperforms the Mixup method in terms of generalization and robustness to adversarial examples.
• Abstract（参考訳）: ミックスアップ法(zhang et al.) 線形補間データを利用する2018年は、一般化性能と敵の例に対する堅牢性を改善する効果的なデータ拡張ツールとして登場した。 モチベーションは、暗黙のモデル制約によって望ましくない振動を緩和し、観測されたデータポイント内において線形に振舞い、滑らかさを促進することである。 本研究では,この前提を形式的に検討し,滑らかさの制約を明示的に課し,暗黙のモデル制約を取り入れるように拡張する方法を提案する。 まず,カーネル変換モデル (KCM) を基本関数をカーネル関数で局所的に平均化することにより,スムーズ性制約を直接課す新しい関数クラスを導出する。 次に,KCMにMixup法を組み込んで滑らかさの領域を拡張することを提案する。 KCMとKCMをMixupに適合させた場合、カーネルのいくつかの条件下でそれぞれリスク分析を行う。 過大なリスクの上限は、元の関数クラスのそれよりも遅くないことを示す。 kcmとミックスアップの上限は、ミックスアップの摂動が \(o(n^{-1/2})\) より早く消滅すると、kcmのそれによって支配される(ただし、\(n\) はサンプルサイズである)。 CIFAR-10 と CIFAR-100 のデータセットを用いて,Mixup を用いた KCM がMixup 法より汎用性や頑健性に優れることを示した。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Adaptive Fuzzy C-Means with Graph Embedding [84.47075244116782]
  ファジィクラスタリングアルゴリズムは、大まかに2つの主要なグループに分類できる: ファジィC平均法(FCM)と混合モデルに基づく方法。 本稿では,FCMを用いたクラスタリングモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T08:15:50Z)
• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation [5.98367009147573]
  2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。 その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
  論文  参考訳（メタデータ） (2021-11-13T05:19:37Z)
• COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization [4.970364068620608]
  我々は,勾配オラクルによって出力される雑音の推定値を改善するために,凸性およびL平滑性を利用する。 問合せ点の数と近さの増加は、より良い勾配推定に繋がることを示す。 また、SGD、Adam、STRSAGAといった既存のアルゴリズムにCOCOをプラグインすることで、バニラ設定にもCOCOを適用します。
  論文  参考訳（メタデータ） (2021-09-07T17:21:09Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。