論文の概要: A Framework and Benchmark for Deep Batch Active Learning for Regression

• arxiv url: http://arxiv.org/abs/2203.09410v4
• Date: Tue, 1 Aug 2023 13:05:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 18:26:27.678405
• Title: A Framework and Benchmark for Deep Batch Active Learning for Regression
• Title（参考訳）: 回帰のための深層バッチアクティブラーニングのためのフレームワークとベンチマーク
• Authors: David Holzm\"uller, Viktor Zaverkin, Johannes K\"astner, Ingo Steinwart
• Abstract要約: ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。 本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。 提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
• 参考スコア（独自算出の注目度）: 2.093287944284448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The acquisition of labels for supervised learning can be expensive. To improve the sample efficiency of neural network regression, we study active learning methods that adaptively select batches of unlabeled data for labeling. We present a framework for constructing such methods out of (network-dependent) base kernels, kernel transformations, and selection methods. Our framework encompasses many existing Bayesian methods based on Gaussian process approximations of neural networks as well as non-Bayesian methods. Additionally, we propose to replace the commonly used last-layer features with sketched finite-width neural tangent kernels and to combine them with a novel clustering method. To evaluate different methods, we introduce an open-source benchmark consisting of 15 large tabular regression data sets. Our proposed method outperforms the state-of-the-art on our benchmark, scales to large data sets, and works out-of-the-box without adjusting the network architecture or training code. We provide open-source code that includes efficient implementations of all kernels, kernel transformations, and selection methods, and can be used for reproducing our results.
• Abstract（参考訳）: 教師付き学習のためのラベルの取得は高価である。 ニューラルネットワーク回帰のサンプル効率を改善するために,ラベル付きデータのバッチを適応的に選択する能動的学習法を検討した。 ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。 本フレームワークは,ニューラルネットワークのガウス過程近似と非ベイズ手法に基づく既存のベイズ手法を包含する。 さらに,よく使われるラスト層の特徴をスケッチされた有限幅神経接核に置き換え,新しいクラスタリング法と組み合わせることを提案する。 異なる手法を評価するため、15個の大きな表付き回帰データセットからなるオープンソースベンチマークを導入する。 提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。 私たちは、すべてのカーネル、カーネル変換、選択メソッドの効率的な実装を含むオープンソースコードを提供し、結果の再現に使用しています。

関連論文リスト

• Bandit-Driven Batch Selection for Robust Learning under Label Noise [20.202806541218944]
  本稿では,SGD(Gradient Descent)トレーニングにおけるバッチ選択のための新しい手法を提案する。 本手法は,ラベルノイズの存在下での学習過程の最適化に重点を置いている。
  論文  参考訳（メタデータ） (2023-10-31T19:19:01Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
  継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。 広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。 リハーサルに基づく連続学習のためのコアセット選択法を考案する。
  論文  参考訳（メタデータ） (2022-03-28T07:37:17Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization [39.56814839510978]
  ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-01T00:42:31Z)
• Gated recurrent units and temporal convolutional network for multilabel classification [122.84638446560663]
  本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。 提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
  論文  参考訳（メタデータ） (2021-10-09T00:00:16Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Meta-learning representations for clustering with infinite Gaussian mixture models [39.56814839510978]
  クラスタリング性能を向上させるためにニューラルネットワークを訓練するメタラーニング手法を提案する。 提案手法は,非ラベルデータとは異なるラベルデータを用いた知識メタ学習を用いて,未ラベルデータをクラスタ化することができる。
  論文  参考訳（メタデータ） (2021-03-01T02:05:31Z)
• The Unreasonable Effectiveness of Patches in Deep Convolutional Kernels Methods [0.0]
  本稿では,畳み込みカーネル法の性能向上の鍵となる,データ依存型特徴抽出手法の重要性を示す。 この手法を挑戦的なImageNetデータセットにスケールアップし、そのような単純なアプローチが既存のすべての非学習表現メソッドを超えることを示した。
  論文  参考訳（メタデータ） (2021-01-19T09:30:58Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
  受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。 本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T06:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。