論文の概要: Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity

• arxiv url: http://arxiv.org/abs/2010.11775v2
• Date: Thu, 29 Oct 2020 17:23:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:39:50.398442
• Title: Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
• Title（参考訳）: ラベルアウェアニューラルタンジェント核:より良い一般化と局所弾性を目指して
• Authors: Shuxiao Chen, Hangfeng He, Weijie J. Su
• Abstract要約: ラベル認識部分とラベル認識部分の階層の重ね合わせであるラベル認識カーネルを2つ導入する。 提案したカーネルでトレーニングしたモデルは、一般化能力と局所弾性率の観点からNNをシミュレートする。
• 参考スコア（独自算出の注目度）: 39.401063331251066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a popular approach to modeling the dynamics of training overparametrized neural networks (NNs), the neural tangent kernels (NTK) are known to fall behind real-world NNs in generalization ability. This performance gap is in part due to the \textit{label agnostic} nature of the NTK, which renders the resulting kernel not as \textit{locally elastic} as NNs~\citep{he2019local}. In this paper, we introduce a novel approach from the perspective of \emph{label-awareness} to reduce this gap for the NTK. Specifically, we propose two label-aware kernels that are each a superimposition of a label-agnostic part and a hierarchy of label-aware parts with increasing complexity of label dependence, using the Hoeffding decomposition. Through both theoretical and empirical evidence, we show that the models trained with the proposed kernels better simulate NNs in terms of generalization ability and local elasticity.
• Abstract（参考訳）: トレーニングオーバーパラメータニューラルネットワーク(nns)のダイナミクスをモデル化する一般的なアプローチとして、ニューラルネットワーク(ntk)は、一般化能力において現実世界のnnに遅れをとっていることが知られている。 このパフォーマンスギャップは、NTKの \textit{label agnostic} の性質によるもので、NNs~\citep{he2019local} のように \textit{locally elastic} ではないカーネルを描画する。 本稿では,NTKにおけるこのギャップを減らすために,emph{label-awareness}の観点から新しいアプローチを提案する。 具体的には、Hoeffding分解を用いてラベル依存の複雑さを増大させるラベル認識部分とラベル認識部分の階層の重ね合わせである2つのラベル認識カーネルを提案する。 理論的および実証的証拠から,提案するカーネルで訓練されたモデルが一般化能力と局所弾性性の観点からnnsをシミュレートするのに役立つことを示した。

関連論文リスト

• Kernel vs. Kernel: Exploring How the Data Structure Affects Neural Collapse [9.975341265604577]
  ニューラル・コラプス(Neural Collapse)とは、NC1と呼ばれるネットワークの最も深い機能のクラス内での多様性の低下である。 この制限に悩まされないカーネルベースの分析を提供する。 NTKは、原型データモデルに対するNNGPよりも崩壊した特徴を表現していないことを示す。
  論文  参考訳（メタデータ） (2024-06-04T08:33:56Z)
• A Unified Kernel for Neural Network Learning [4.0759204898334715]
  本稿では、勾配降下を伴うニューラルネットワークの学習力学を特徴付けるUnified Neural Kernel(UNK)を提案する。 UNK は NNGP と NTK の両方の制限特性を維持し、有限学習ステップで NTK に似た振る舞いを示す。 また、UNKカーネルの均一な厳密性と学習収束性を理論的に特徴づける。
  論文  参考訳（メタデータ） (2024-03-26T07:55:45Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Neural Structured Prediction for Inductive Node Classification [29.908759584092167]
  本稿では,ラベル付き学習グラフのモデルを学習し,未ラベルの試験グラフ上でノードラベルを推論するために一般化することを目的とした,帰納的環境におけるノード分類について検討する。 本稿では,両者の利点を組み合わせたSPN(Structured Proxy Network)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-15T15:50:27Z)
• Uniform Generalization Bounds for Overparameterized Neural Networks [5.945320097465419]
  カーネルシステムにおけるオーバーパラメータ化ニューラルネットワークに対する一様一般化バウンダリを証明した。 我々の境界は、アクティベーション関数の微分可能性に応じて正確な誤差率をキャプチャする。 NTカーネルに対応するRKHSと、Mat'ernカーネルのファミリーに対応するRKHSの等価性を示す。
  論文  参考訳（メタデータ） (2021-09-13T16:20:13Z)
• On the Equivalence of Decoupled Graph Convolution Network and Label Propagation [60.34028546202372]
  いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。 有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。 本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:57:39Z)
• Infinite attention: NNGP and NTK for deep attention networks [38.55012122588628]
  広範ニューラルネットワーク(NN)とガウス過程(GP)の等価性を同定する。 ガウス的でない振る舞いを誘発する単一ヘッドアテンションとは異なり、多ヘッドアテンションアーキテクチャは、ヘッドの数が無限大になる傾向があるため、GPとして振る舞う。 本稿では,NNGP/NTKモデルの可変長列に適用可能なニューラルタンジェンツライブラリの新機能を紹介する。
  論文  参考訳（メタデータ） (2020-06-18T13:57:01Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。