論文の概要: Provable Data Subset Selection For Efficient Neural Network Training

• arxiv url: http://arxiv.org/abs/2303.05151v1
• Date: Thu, 9 Mar 2023 10:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 15:28:18.440403
• Title: Provable Data Subset Selection For Efficient Neural Network Training
• Title（参考訳）: 効率的なニューラルネットワーク学習のための確率的データセット選択
• Authors: Murad Tukan, Samson Zhou, Alaa Maalouf, Daniela Rus, Vladimir Braverman, Dan Feldman
• Abstract要約: 本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
• 参考スコア（独自算出の注目度）: 73.34254513162898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radial basis function neural networks (\emph{RBFNN}) are {well-known} for their capability to approximate any continuous function on a closed bounded set with arbitrary precision given enough hidden neurons. In this paper, we introduce the first algorithm to construct coresets for \emph{RBFNNs}, i.e., small weighted subsets that approximate the loss of the input data on any radial basis function network and thus approximate any function defined by an \emph{RBFNN} on the larger input data. In particular, we construct coresets for radial basis and Laplacian loss functions. We then use our coresets to obtain a provable data subset selection algorithm for training deep neural networks. Since our coresets approximate every function, they also approximate the gradient of each weight in a neural network, which is a particular function on the input. We then perform empirical evaluations on function approximation and dataset subset selection on popular network architectures and data sets, demonstrating the efficacy and accuracy of our coreset construction.
• Abstract（参考訳）: 放射基底関数ニューラルネットワーク(英語版) (\emph{RBFNN}) は、閉有界集合上の任意の連続関数を、十分な隠れたニューロンを任意の精度で近似する能力においてよく知られている。 本稿では,任意のラジアル基底関数ネットワーク上での入力データの損失を近似し,より大きな入力データ上での \emph{RBFNN} で定義される任意の関数を近似する,小さな重み付き部分集合である \emph{RBFNNs} のコアセットを構築するための最初のアルゴリズムを提案する。 特に、放射基底とラプラシア損失関数のコアセットを構築する。 次に、コアセットを使用して、ディープニューラルネットワークをトレーニングするための証明可能なデータサブセット選択アルゴリズムを得る。 我々のコアセットは全ての関数を近似するので、入力の特定の関数であるニューラルネットワークの各重みの勾配も近似する。 次に,人気のあるネットワークアーキテクチャとデータセット上で関数近似とデータセットサブセット選択に関する経験的評価を行い,コアセット構築の有効性と精度を示す。

関連論文リスト

• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• Universal Approximation Property of Fully Convolutional Neural Networks with Zero Padding [10.295288663157393]
  CNNはテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。 入力値と出力値の両方が同じ空間形状を示す場合、CNNは任意の連続関数を近似することができることを示す。 また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることも確認した。
  論文  参考訳（メタデータ） (2022-11-18T02:04:16Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Estimating Multiplicative Relations in Neural Networks [0.0]
  対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。 いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
  論文  参考訳（メタデータ） (2020-10-28T14:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。