論文の概要: Kernelized Classification in Deep Networks

• arxiv url: http://arxiv.org/abs/2012.09607v2
• Date: Thu, 18 Mar 2021 21:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:42:00.079929
• Title: Kernelized Classification in Deep Networks
• Title（参考訳）: ディープネットワークにおけるカーネル分類
• Authors: Sadeep Jayasumana, Srikumar Ramalingam, Sanjiv Kumar
• Abstract要約: 本稿では,ディープネットワークのためのカーネル分類層を提案する。 訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
• 参考スコア（独自算出の注目度）: 49.47339560731506
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a kernelized classification layer for deep networks. Although conventional deep networks introduce an abundance of nonlinearity for representation (feature) learning, they almost universally use a linear classifier on the learned feature vectors. We advocate a nonlinear classification layer by using the kernel trick on the softmax cross-entropy loss function during training and the scorer function during testing. However, the choice of the kernel remains a challenge. To tackle this, we theoretically show the possibility of optimizing over all possible positive definite kernels applicable to our problem setting. This theory is then used to device a new kernelized classification layer that learns the optimal kernel function for a given problem automatically within the deep network itself. We show the usefulness of the proposed nonlinear classification layer on several datasets and tasks.
• Abstract（参考訳）: 本稿では,ディープネットワークのためのカーネル分類層を提案する。 従来のディープネットワークは、表現(特徴)学習に非線形性の豊富さをもたらすが、学習された特徴ベクトルの線形分類器をほぼ普遍的に使用する。 トレーニング中のソフトマックスクロスエントロピー損失関数と試験時のスコア関数のカーネルトリックを用いて非線形分類層を提案する。 しかし、カーネルの選択は依然として課題である。 これに対処するため、理論上は問題設定に適用可能なすべての正定値カーネルを最適化する可能性を示す。 この理論は、与えられた問題に対する最適なカーネル関数をディープネットワーク自体内で自動的に学習する新しいカーネル分類層を構築するために使用される。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。

関連論文リスト

• Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
  実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。 畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。 有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
  論文  参考訳（メタデータ） (2023-07-21T17:22:04Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Utilizing Excess Resources in Training Neural Networks [41.07083436560303]
  カーネルフィルタリング方式でフィルタリングレイヤの線形カスケードを実装することにより、トレーニング済みアーキテクチャが不要に深くなるのを防ぐことができる。 これにより、ほぼすべてのネットワークアーキテクチャで私たちのアプローチを使用でき、テスト時間内にフィルタリングレイヤを単一のレイヤに組み合わせることができます。 教師あり学習における様々なネットワークモデルとデータセットにおけるKFLOの利点を実証する。
  論文  参考訳（メタデータ） (2022-07-12T13:48:40Z)
• Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
  我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。 特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。 その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-04-29T14:27:42Z)
• Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
  遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。 これは、サイレントアライメント(サイレントアライメント)という現象のためである。 また、非白データは無声アライメント効果を弱めることを示した。
  論文  参考訳（メタデータ） (2021-10-29T18:22:46Z)
• NFT-K: Non-Fungible Tangent Kernels [23.93508901712177]
  我々は、ディープニューラルネットワークの各層を個別にモデル化する複数のニューラルネットワークカーネルの組み合わせとして、新しいネットワークを開発する。 2つのデータセット上でこのモデルの解釈可能性を示し、複数のカーネルモデルが層と予測の間の相互作用を解明することを示した。
  論文  参考訳（メタデータ） (2021-10-11T00:35:47Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。