論文の概要: Dataset Meta-Learning from Kernel Ridge-Regression

• arxiv url: http://arxiv.org/abs/2011.00050v3
• Date: Mon, 22 Mar 2021 19:15:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 16:17:46.155064
• Title: Dataset Meta-Learning from Kernel Ridge-Regression
• Title（参考訳）: kernel ridge-regression からのデータセットメタラーニング
• Authors: Timothy Nguyen, Zhourong Chen, Jaehoon Lee
• Abstract要約: Kernel Inducing Points (KIP) はデータセットを1桁から2桁に圧縮することができる。 KIP学習データセットは、遅延学習体制を超えても有限幅ニューラルネットワークのトレーニングに転送可能である。
• 参考スコア（独自算出の注目度）: 18.253682891579402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the most fundamental aspects of any machine learning algorithm is the training data used by the algorithm. We introduce the novel concept of $\epsilon$-approximation of datasets, obtaining datasets which are much smaller than or are significant corruptions of the original training data while maintaining similar model performance. We introduce a meta-learning algorithm called Kernel Inducing Points (KIP) for obtaining such remarkable datasets, inspired by the recent developments in the correspondence between infinitely-wide neural networks and kernel ridge-regression (KRR). For KRR tasks, we demonstrate that KIP can compress datasets by one or two orders of magnitude, significantly improving previous dataset distillation and subset selection methods while obtaining state of the art results for MNIST and CIFAR-10 classification. Furthermore, our KIP-learned datasets are transferable to the training of finite-width neural networks even beyond the lazy-training regime, which leads to state of the art results for neural network dataset distillation with potential applications to privacy-preservation.
• Abstract（参考訳）: 機械学習アルゴリズムの最も基本的な側面の1つは、アルゴリズムが使用するトレーニングデータである。 我々は、データセットの$\epsilon$近似という新しい概念を導入し、類似したモデル性能を維持しながら、元のトレーニングデータよりもずっと小さい、あるいは重大な破損であるデータセットを得る。 本稿では,Kernel Inducing Points (KIP) と呼ばれるメタ学習アルゴリズムを導入する。このアルゴリズムは,無限大のニューラルネットワークとカーネルリッジ回帰(KRR)の対応関係の最近の発展に着想を得たものである。 KRRタスクでは,KIPが1～2桁の精度でデータセットを圧縮し,MNISTおよびCIFAR-10分類のための技術結果の状態を取得しながら,以前のデータセット蒸留法とサブセット選択法を大幅に改善できることを示す。 さらに、当社のkip学習データセットは、遅延学習機構を越えても有限幅ニューラルネットワークのトレーニングに転送可能であり、プライバシ保護への応用の可能性を備えたニューラルネットワークデータセットの蒸留に関する最先端の結果が得られます。

関連論文リスト

• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Dataset Distillation using Neural Feature Regression [32.53291298089172]
  ニューラル・フィーチャー・レグレッション・アンド・プール(FRePo)を用いたデータセット蒸留アルゴリズムを開発した。 FRePoは、メモリ要件を桁違いに少なくし、以前の方法よりも2桁高速なトレーニングで最先端のパフォーマンスを実現している。 我々は,高品質な蒸留データにより,連続学習や会員推測防衛など,下流の様々な応用を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T19:02:06Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Graph-based Active Learning for Semi-supervised Classification of SAR Data [8.92985438874948]
  本稿では,グラフベース学習法とニューラルネットワーク法を組み合わせた合成開口レーダ(SAR)データの分類手法を提案する。 CNNVAEの機能埋め込みとグラフ構築はラベル付きデータを必要としないため、オーバーフィッティングが軽減される。 この方法は、データラベリングプロセスにおいて、アクティブラーニングのためのヒューマン・イン・ザ・ループを容易に組み込む。
  論文  参考訳（メタデータ） (2022-03-31T00:14:06Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Collaborative Method for Incremental Learning on Classification and Generation [32.07222897378187]
  本稿では,ニューラルネットワークを用いたインクリメンタルなクラス学習のための新しいアルゴリズム,Incrmental Class Learning with Attribute Sharing (ICLAS)を導入する。 そのコンポーネントの1つであるincGANは、トレーニングデータよりも多彩な画像を生成することができる。 データ不足の困難な環境下で、ICLASは段階的に分類と生成ネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-10-29T06:34:53Z)
• Dataset Condensation with Gradient Matching [36.14340188365505]
  本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。 いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:30:52Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。