論文の概要: Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum

• arxiv url: http://arxiv.org/abs/2307.14531v2
• Date: Wed, 20 Mar 2024 07:49:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 22:47:21.345803
• Title: Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
• Title（参考訳）: カーネルスペクトルの修正による広帯域ニューラルネットワークの誘導バイアス制御
• Authors: Amnon Geifman, Daniel Barzilai, Ronen Basri, Meirav Galun,
• Abstract要約: 所望の固有値を持つカーネルに改良スペクトルカーネル(MSK)を導入する。 本研究では,勾配勾配の軌道を変化させる事前条件付き勾配降下法を提案する。 私たちの手法は計算効率が良く、実装も簡単です。
• 参考スコア（独自算出の注目度）: 18.10812063219831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wide neural networks are biased towards learning certain functions, influencing both the rate of convergence of gradient descent (GD) and the functions that are reachable with GD in finite training time. As such, there is a great need for methods that can modify this bias according to the task at hand. To that end, we introduce Modified Spectrum Kernels (MSKs), a novel family of constructed kernels that can be used to approximate kernels with desired eigenvalues for which no closed form is known. We leverage the duality between wide neural networks and Neural Tangent Kernels and propose a preconditioned gradient descent method, which alters the trajectory of GD. As a result, this allows for a polynomial and, in some cases, exponential training speedup without changing the final solution. Our method is both computationally efficient and simple to implement.
• Abstract（参考訳）: 広範ニューラルネットワークは特定の関数の学習に偏りがあり、勾配降下(GD)の収束率と、有限の訓練時間でGDに到達可能な関数の両方に影響を与える。 そのため、手元にあるタスクに応じて、このバイアスを修正できるメソッドがとても必要になります。 この目的のために、我々は、閉じた形が知られていない所望の固有値を持つカーネルを近似するために使用できる、構築されたカーネルの新しいファミリーであるModified Spectrum Kernels (MSKs)を導入する。 広帯域ニューラルネットワークとニューラルタンジェントカーネルの双対性を活用し,GDの軌道を変化させる事前条件付き勾配降下法を提案する。 結果として、多項式と、場合によっては最終解を変更することなく指数的トレーニングのスピードアップが可能になる。 私たちの手法は計算効率が良く、実装も簡単です。

関連論文リスト

• Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks [12.018422134251384]
  このクラスでは、トレーニングエラーのほとんどゼロにトレーニングされたニューラルネットワークが矛盾していることが示される。 ReLUアクティベーション関数によって誘導されるカーネルのヒルベルト空間上で、何らかの早期停止規則が最適率(過剰リスク)を与えることが保証されたとき、同じ規則を極大最適率を達成するために使うことができることを示す。
  論文  参考訳（メタデータ） (2022-12-28T14:56:27Z)
• Self-Consistent Dynamical Field Theory of Kernel Evolution in Wide Neural Networks [18.27510863075184]
  勾配流を学習した無限幅ニューラルネットワークにおける特徴学習を,自己整合力学場理論を用いて解析する。 本研究では,各層に隠れた単位活性化と勾配を示す内積カーネルである決定論的動的順序パラメータの集合を,時間点のペアで構築する。
  論文  参考訳（メタデータ） (2022-05-19T16:10:10Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• When and why PINNs fail to train: A neural tangent kernel perspective [2.1485350418225244]
  PINNのニューラルタンジェントカーネル(NTK)を導出し、適切な条件下では、無限幅極限でのトレーニング中に一定となる決定論的カーネルに収束することを示す。 学習誤差の総和に寄与する損失成分の収束率に顕著な差があることが判明した。 本研究では,NTKの固有値を用いて学習誤差の収束率を適応的に調整する勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-28T23:44:56Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。