論文の概要: Kernel Regression with Infinite-Width Neural Networks on Millions of Examples

• arxiv url: http://arxiv.org/abs/2303.05420v1
• Date: Thu, 9 Mar 2023 17:11:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 13:56:21.878955
• Title: Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
• Title（参考訳）: 無限幅ニューラルネットワークを用いた数百万例のカーネル回帰
• Authors: Ben Adlam, Jaehoon Lee, Shreyas Padhy, Zachary Nado, and Jasper Snoek
• Abstract要約: 我々は,CIFAR-5mデータセットにおいて,数個のニューラルネットワークのスケール法則について検討した。 テスト精度は91.2%(純粋なカーネル法ではSotA)である。
• 参考スコア（独自算出の注目度）: 27.408712993696213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural kernels have drastically increased performance on diverse and nonstandard data modalities but require significantly more compute, which previously limited their application to smaller datasets. In this work, we address this by massively parallelizing their computation across many GPUs. We combine this with a distributed, preconditioned conjugate gradients algorithm to enable kernel regression at a large scale (i.e. up to five million examples). Using this approach, we study scaling laws of several neural kernels across many orders of magnitude for the CIFAR-5m dataset. Using data augmentation to expand the original CIFAR-10 training dataset by a factor of 20, we obtain a test accuracy of 91.2\% (SotA for a pure kernel method). Moreover, we explore neural kernels on other data modalities, obtaining results on protein and small molecule prediction tasks that are competitive with SotA methods.
• Abstract（参考訳）: ニューラルカーネルは、多様で非標準なデータモダリティのパフォーマンスを劇的に向上させたが、以前はより小さなデータセットに制限されていた、はるかに多くの計算を必要とする。 本研究では,多くのGPUで計算処理を並列化することでこの問題に対処する。 これを分散された条件付き共役勾配アルゴリズムと組み合わせて、カーネルの大規模な回帰を可能にする(最大500万の例)。 このアプローチを用いて,CIFAR-5mデータセットにおいて,数桁のニューラルネットワークのスケーリング法則について検討した。 CIFAR-10トレーニングデータセットを20倍に拡張するためにデータ拡張を用いることで、テスト精度は91.2\%となる(純粋なカーネル法ではSotA)。 さらに、他のデータモダリティに基づく神経核を探索し、soma法と競合するタンパク質および小分子予測タスクの結果を得た。

関連論文リスト

• Convolutional Deep Kernel Machines [25.958907308877148]
  最近の研究は、表現学習を維持するためにベイズニューラルネットワークのNNGP(Neural Network Gaussian Process)制限を変更している。 この修正された制限をディープ・ガウス・プロセスに適用すると、ディープ・カーネル・マシン(DKM)と呼ばれる実用的な学習アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2023-09-18T14:36:17Z)
• A Simple Algorithm For Scaling Up Kernel Methods [0.0]
  ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。 CIFAR-10データセット上で,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2023-01-26T20:59:28Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Local Random Feature Approximations of the Gaussian Kernel [14.230653042112834]
  本稿では,一般的なガウスカーネルと,ランダムな特徴近似を用いてカーネルベースモデルを線形化する手法に着目する。 このような手法は、高周波データをモデル化する際、悪い結果をもたらすことを示すとともに、カーネル近似と下流性能を大幅に改善する新たなローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T09:52:36Z)
• How Do Graph Networks Generalize to Large and Diverse Molecular Systems? [10.690849483282564]
  多くのデータセットが不足している複雑さの4つの側面を特定します。 本稿では,従来のOC20の最先端性能を16%向上させるGemNet-OCモデルを提案する。 我々の発見は、グラフニューラルネットワークがデータセットのサイズと多様性から同じように独立して機能するという共通の信念に挑戦する。
  論文  参考訳（メタデータ） (2022-04-06T12:52:34Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。