論文の概要: BALanCe: Deep Bayesian Active Learning via Equivalence Class Annealing
- arxiv url: http://arxiv.org/abs/2112.13737v1
- Date: Mon, 27 Dec 2021 15:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 14:39:33.703929
- Title: BALanCe: Deep Bayesian Active Learning via Equivalence Class Annealing
- Title（参考訳）: BALanCe: 等価クラスアニーリングによるディープベイズ的アクティブラーニング
- Authors: Renyu Zhang, Aly A. Khan, Robert L. Grossman, Yuxin Chen
- Abstract要約: BALanCeは、不確実性推定の効果を緩和する、深いアクティブな学習フレームワークである。
Batch-BALanCeは、逐次アルゴリズムのバッチ設定への一般化である。
Batch-BALanCeは、アクティブな学習のためのいくつかのベンチマークデータセット上で最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 7.9107076476763885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active learning has demonstrated data efficiency in many fields. Existing
active learning algorithms, especially in the context of deep Bayesian active
models, rely heavily on the quality of uncertainty estimations of the model.
However, such uncertainty estimates could be heavily biased, especially with
limited and imbalanced training data. In this paper, we propose BALanCe, a
Bayesian deep active learning framework that mitigates the effect of such
biases. Concretely, BALanCe employs a novel acquisition function which
leverages the structure captured by equivalence hypothesis classes and
facilitates differentiation among different equivalence classes. Intuitively,
each equivalence class consists of instantiations of deep models with similar
predictions, and BALanCe adaptively adjusts the size of the equivalence classes
as learning progresses. Besides the fully sequential setting, we further
propose Batch-BALanCe -- a generalization of the sequential algorithm to the
batched setting -- to efficiently select batches of training examples that are
jointly effective for model improvement. We show that Batch-BALanCe achieves
state-of-the-art performance on several benchmark datasets for active learning,
and that both algorithms can effectively handle realistic challenges that often
involve multi-class and imbalanced data.
- Abstract（参考訳）: アクティブラーニングは多くの分野でデータ効率を示している。
既存のアクティブラーニングアルゴリズム、特にディープベイズアクティブモデルの文脈では、モデルの不確実性推定の品質に大きく依存している。
しかし、このような不確実性の推定は、特に限られた不均衡なトレーニングデータでは、非常に偏りがある。
本稿では,このようなバイアスの影響を軽減するベイズ型深層アクティブ学習フレームワークである balance を提案する。
具体的には、バランスは同値仮説クラスによってキャプチャされた構造を利用し、異なる同値クラス間の分化を促進する新しい獲得関数を用いる。
直感的には、各同値クラスは類似の予測を持つ深層モデルのインスタンス化で構成され、バランスは学習が進むにつれて同値クラスのサイズを適応的に調整する。
完全逐次設定の他に,逐次アルゴリズムのバッチ設定への一般化であるバッチバランスも提案し,モデル改善に協調的に有効であるトレーニング例のバッチを効率的に選択する。
Batch-BALanCeは、アクティブラーニングのためのいくつかのベンチマークデータセットで最先端のパフォーマンスを実現し、両方のアルゴリズムが、しばしばマルチクラスとアンバランスなデータを含む現実的な課題を効果的に処理できることを示します。
関連論文リスト
- Latent Alignment with Deep Set EEG Decoders [44.128689862889715]
本稿では,脳波伝達学習大会のベンチマークで優勝した潜在アライメント手法を紹介する。
我々は,その定式化を,与えられた被験者の試行セットに適用したディープセットとして提示する。
実験の結果,深層学習モデルにおける後段の統計的分布アライメントの実行は,分類精度に有益であることが示唆された。
論文 参考訳（メタデータ） (2023-11-29T12:40:45Z) - NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating
True Coverage [3.4806267677524896]
ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。
擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。
提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-07T01:43:47Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。
スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。
我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
論文 参考訳（メタデータ） (2022-11-01T03:20:28Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳（メタデータ） (2021-07-23T06:57:08Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳（メタデータ） (2021-01-20T13:59:25Z) - Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for
Supporting Active Learning [0.0]
本研究は,Active Learning を用いて非ラベルのインスタンスで分類モデルを誘導する FASE-AL アルゴリズムを提案する。
このアルゴリズムは、正しく分類されたインスタンスの割合で有望な結果を得る。
論文 参考訳（メタデータ） (2020-01-30T17:25:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。