論文の概要: A Framework and Benchmark for Deep Batch Active Learning for Regression
- arxiv url: http://arxiv.org/abs/2203.09410v3
- Date: Tue, 4 Apr 2023 15:15:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 19:11:47.034078
- Title: A Framework and Benchmark for Deep Batch Active Learning for Regression
- Title（参考訳）: 回帰のための深層バッチアクティブラーニングのためのフレームワークとベンチマーク
- Authors: David Holzm\"uller, Viktor Zaverkin, Johannes K\"astner, Ingo
Steinwart
- Abstract要約: ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。
本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。
提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
- 参考スコア（独自算出の注目度）: 2.093287944284448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The acquisition of labels for supervised learning can be expensive. In order
to improve the sample-efficiency of neural network regression, we study active
learning methods that adaptively select batches of unlabeled data for labeling.
We present a framework for constructing such methods out of (network-dependent)
base kernels, kernel transformations and selection methods. Our framework
encompasses many existing Bayesian methods based on Gaussian Process
approximations of neural networks as well as non-Bayesian methods.
Additionally, we propose to replace the commonly used last-layer features with
sketched finite-width Neural Tangent Kernels, and to combine them with a novel
clustering method. To evaluate different methods, we introduce an open-source
benchmark consisting of 15 large tabular regression data sets. Our proposed
method outperforms the state-of-the-art on our benchmark, scales to large data
sets, and works out-of-the-box without adjusting the network architecture or
training code. We provide open-source code that includes efficient
implementations of all kernels, kernel transformations, and selection methods,
and can be used for reproducing our results.
- Abstract（参考訳）: 教師付き学習のためのラベルの取得は高価である。
ニューラルネットワーク回帰のサンプル効率を改善するために,ラベルなしデータのバッチを適応的にラベリングする能動的学習法を検討した。
本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。
本フレームワークは,ニューラルネットワークのガウス過程近似と非ベイズ手法に基づく既存のベイズ手法を包含する。
さらに,よく使われるラスト層の特徴をスケッチされた有限幅神経接核に置き換え,それらを新しいクラスタリング法と組み合わせることを提案する。
異なる手法を評価するため、15個の大きな表付き回帰データセットからなるオープンソースベンチマークを導入する。
提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
私たちは、すべてのカーネル、カーネル変換、選択メソッドの効率的な実装を含むオープンソースコードを提供し、結果の再現に使用しています。
関連論文リスト
- BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。
主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。
これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
論文 参考訳（メタデータ） (2024-11-18T22:18:34Z) - Bandit-Driven Batch Selection for Robust Learning under Label Noise [20.202806541218944]
本稿では,SGD(Gradient Descent)トレーニングにおけるバッチ選択のための新しい手法を提案する。
本手法は,ラベルノイズの存在下での学習過程の最適化に重点を置いている。
論文 参考訳（メタデータ） (2023-10-31T19:19:01Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。
広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。
リハーサルに基づく連続学習のためのコアセット選択法を考案する。
論文 参考訳（メタデータ） (2022-03-28T07:37:17Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian
Optimization [39.56814839510978]
ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。
我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。
3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
論文 参考訳（メタデータ） (2021-11-01T00:42:31Z) - Gated recurrent units and temporal convolutional network for multilabel
classification [122.84638446560663]
本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。
提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
論文 参考訳（メタデータ） (2021-10-09T00:00:16Z) - MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。
マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
論文 参考訳（メタデータ） (2021-05-08T21:24:09Z) - Meta-learning representations for clustering with infinite Gaussian
mixture models [39.56814839510978]
クラスタリング性能を向上させるためにニューラルネットワークを訓練するメタラーニング手法を提案する。
提案手法は,非ラベルデータとは異なるラベルデータを用いた知識メタ学習を用いて,未ラベルデータをクラスタ化することができる。
論文 参考訳（メタデータ） (2021-03-01T02:05:31Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-05-10T06:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。