論文の概要: Kernel Dependence Network

• arxiv url: http://arxiv.org/abs/2011.03320v2
• Date: Mon, 9 Nov 2020 23:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 21:39:02.015445
• Title: Kernel Dependence Network
• Title（参考訳）: カーネル依存ネットワーク
• Authors: Chieh Wu, Aria Masoomi, Arthur Gretton, Jennifer Dy
• Abstract要約: マルチクラス分類のためのディープネットワークをスペクトル的に訓練する戦略を提案する。 本稿では,固有値を利用してネットワークの幅と深さを自動的に把握しながら,我々のネットワーク構成をスペクトル的に解く方法を示す。
• 参考スコア（独自算出の注目度）: 20.36811499812429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a greedy strategy to spectrally train a deep network for multi-class classification. Each layer is defined as a composition of linear weights with the feature map of a Gaussian kernel acting as the activation function. At each layer, the linear weights are learned by maximizing the dependence between the layer output and the labels using the Hilbert Schmidt Independence Criterion (HSIC). By constraining the solution space on the Stiefel Manifold, we demonstrate how our network construct (Kernel Dependence Network or KNet) can be solved spectrally while leveraging the eigenvalues to automatically find the width and the depth of the network. We theoretically guarantee the existence of a solution for the global optimum while providing insight into our network's ability to generalize.
• Abstract（参考訳）: 我々は,多クラス分類のためのディープネットワークをスペクトル的に訓練するための欲求戦略を提案する。 各層は、活性化関数として作用するガウス核の特徴写像を持つ線形重みの合成として定義される。 各層において、ヒルベルト・シュミット独立基準(hsic)を用いて、出力層とラベル間の依存性を最大化することにより線形重みを学習する。 stiefel多様体上の解空間を制約することにより、我々のネットワーク構成(カーネル依存ネットワークまたはknet)が、固有値を利用してネットワークの幅と深さを自動的に見つけながらスペクトル的にどのように解決できるかを実証する。 我々は,理論上,グローバルな最適解の存在を保証し,ネットワークの一般化能力に関する洞察を提供する。

関連論文リスト

• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Globally Gated Deep Linear Networks [3.04585143845864]
  我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。 有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。 我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
  論文  参考訳（メタデータ） (2022-10-31T16:21:56Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction [32.489371527159236]
  この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。 高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。 速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
  論文  参考訳（メタデータ） (2021-05-21T16:29:57Z)
• Kernelized Classification in Deep Networks [49.47339560731506]
  本稿では,ディープネットワークのためのカーネル分類層を提案する。 訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-08T21:43:19Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。