論文の概要: Active Learning with Neural Networks: Insights from Nonparametric
Statistics
- arxiv url: http://arxiv.org/abs/2210.08367v1
- Date: Sat, 15 Oct 2022 19:57:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 16:55:10.244902
- Title: Active Learning with Neural Networks: Insights from Nonparametric
Statistics
- Title（参考訳）: ニューラルネットワークによるアクティブラーニング:非パラメトリック統計からの洞察
- Authors: Yinglun Zhu and Robert Nowak
- Abstract要約: 本論文は, 深層学習において, 準最適ラベルの複雑性が保証される最初の方法である。
標準的な低騒音条件下では,ニューラルネットワークを用いた能動学習がミニマックスラベルの複雑さを確実に達成できることを示す。
また,低雑音の仮定を伴わずに,$mathsfpolylog(frac1epsilon)$ラベル複雑性を実現する,効率的な深層能動学習アルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 12.315392649501101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have great representation power, but typically require
large numbers of training examples. This motivates deep active learning methods
that can significantly reduce the amount of labeled training data. Empirical
successes of deep active learning have been recently reported in the
literature, however, rigorous label complexity guarantees of deep active
learning have remained elusive. This constitutes a significant gap between
theory and practice. This paper tackles this gap by providing the first
near-optimal label complexity guarantees for deep active learning. The key
insight is to study deep active learning from the nonparametric classification
perspective. Under standard low noise conditions, we show that active learning
with neural networks can provably achieve the minimax label complexity, up to
disagreement coefficient and other logarithmic terms. When equipped with an
abstention option, we further develop an efficient deep active learning
algorithm that achieves $\mathsf{polylog}(\frac{1}{\epsilon})$ label
complexity, without any low noise assumptions. We also provide extensions of
our results beyond the commonly studied Sobolev/H\"older spaces and develop
label complexity guarantees for learning in Radon $\mathsf{BV}^2$ spaces, which
have recently been proposed as natural function spaces associated with neural
networks.
- Abstract（参考訳）: ディープニューラルネットワークは表現力が高いが、通常多くのトレーニング例を必要とする。
これにより、ラベル付きトレーニングデータの量を大幅に削減できる深いアクティブな学習方法がモチベーションとなる。
近年、深層能動学習の実証的な成功が文献で報告されているが、深層能動学習の厳密なラベル複雑性保証はいまだ解明されていない。
これは理論と実践の間の大きなギャップを構成する。
本稿では,このギャップに対処し,深層学習に最適なラベル複雑性を保証する。
重要な洞察は、非パラメトリック分類の観点から深いアクティブラーニングを研究することである。
標準的な低雑音条件下では、ニューラルネットワークを用いた能動学習は、不一致係数や他の対数項まで、最小値ラベルの複雑さを確実に達成できることを示す。
停止オプションを装着すると、低雑音の仮定を伴わずに$\mathsf{polylog}(\frac{1}{\epsilon})$ラベル複雑性を実現する効率的な深層能動学習アルゴリズムをさらに開発する。
また、一般に研究されているソボレフ/H\古い空間を超えて、ニューラルネットワークに付随する自然関数空間として最近提案されているRadon $\mathsf{BV}^2$空間で学習するためのラベル複雑性の保証を開発する。
関連論文リスト
- Learning from the Best: Active Learning for Wireless Communications [9.523381807291049]
アクティブな学習アルゴリズムは、ラベル付けされていないデータセットの中で最も重要で情報に富んだサンプルを特定し、完全なデータセットではなく、これらのサンプルのみをラベル付けする。
本稿では, ディープラーニングに基づくmmWaveビーム選択のケーススタディとして, 包括探索に基づく計算集約アルゴリズムを用いてラベル付けを行う。
この結果から,クラス不均衡データセットに対するアクティブな学習アルゴリズムを用いることで,データセットのラベル付けオーバーヘッドを最大50%削減できることがわかった。
論文 参考訳（メタデータ） (2024-01-23T12:21:57Z) - Pareto Frontiers in Neural Feature Learning: Data, Compute, Width, and
Luck [35.6883212537938]
オフラインスパースパリティ学習は,多層パーセプトロンの勾配に基づくトレーニングにおいて,統計的クエリの下限を許容する教師付き分類問題である。
理論上, 実験上, 疎初期化とネットワーク幅の増大がサンプル効率を著しく向上させることを示す。
また,合成スパースパリティタスクは,軸方向の特徴学習を必要とする現実的な問題のプロキシとして有用であることを示す。
論文 参考訳（メタデータ） (2023-09-07T15:52:48Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Streaming Active Learning with Deep Neural Networks [44.50018541065145]
ストリーミング設定において,ディープニューラルネットワークを用いたバッチアクティブ学習のための新しいアルゴリズムであるVeSSALを提案する。
VeSSALは、ラベルに遭遇した時点でクエリするポイントのグループをサンプリングする。
我々は、ディープニューラルネットワークの適用性を、現実的なアクティブな学習シナリオに拡張する。
論文 参考訳（メタデータ） (2023-03-05T00:57:28Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Efficient Active Learning with Abstention [12.315392649501101]
計算効率のよい能動学習アルゴリズムを開発した。
このアルゴリズムの重要な特徴は、アクティブな学習でしばしば見られる望ましくない「ノイズ探索」行動を避けることである。
論文 参考訳（メタデータ） (2022-03-31T18:34:57Z) - BatchFormer: Learning to Explore Sample Relationships for Robust
Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。
BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。
我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文 参考訳（メタデータ） (2022-03-03T05:31:33Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳（メタデータ） (2022-02-12T06:10:15Z) - Learning Purified Feature Representations from Task-irrelevant Labels [18.967445416679624]
本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。
本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
論文 参考訳（メタデータ） (2021-02-22T12:50:49Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Bayesian active learning for production, a systematic study and a
reusable library [85.32971950095742]
本稿では,現在のアクティブラーニング技術の主な欠点について分析する。
実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。
部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
論文 参考訳（メタデータ） (2020-06-17T14:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。