論文の概要: Speeding Up BatchBALD: A k-BALD Family of Approximations for Active Learning

• arxiv url: http://arxiv.org/abs/2301.09490v1
• Date: Mon, 23 Jan 2023 15:38:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 13:16:28.385708
• Title: Speeding Up BatchBALD: A k-BALD Family of Approximations for Active Learning
• Title（参考訳）: BatchBALDの高速化: アクティブラーニングのための近似のk-BALDファミリー
• Authors: Andreas Kirsch
• Abstract要約: BatchBALDはラベル付きデータで機械学習モデルをトレーニングするテクニックである。 本稿では,k-wise mutual information terms を用いて BatchBALD を近似する新しい近似 k-BALD を提案する。 MNISTデータセットの結果から、k-BALDはBatchBALDよりも大幅に高速であり、同様の性能を維持していることがわかった。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning is a powerful method for training machine learning models with limited labeled data. One commonly used technique for active learning is BatchBALD, which uses Bayesian neural networks to find the most informative points to label in a pool set. However, BatchBALD can be very slow to compute, especially for larger datasets. In this paper, we propose a new approximation, k-BALD, which uses k-wise mutual information terms to approximate BatchBALD, making it much less expensive to compute. Results on the MNIST dataset show that k-BALD is significantly faster than BatchBALD while maintaining similar performance. Additionally, we also propose a dynamic approach for choosing k based on the quality of the approximation, making it more efficient for larger datasets.
• Abstract（参考訳）: アクティブな学習は、ラベル付きデータで機械学習モデルをトレーニングするための強力な方法である。 アクティブラーニングの一般的なテクニックの1つは、ベイズニューラルネットワークを使用してプールセットにラベル付けする最も有益なポイントを見つけるバッチバルドである。 しかしながら、特に大きなデータセットでは、BatchBALDの計算は非常に遅い。 本稿では,k-wise相互情報項を用いてBatchBALDを近似し,計算コストを低減した新しい近似k-BALDを提案する。 MNISTデータセットの結果から、k-BALDはBatchBALDよりも大幅に高速であり、同様の性能を維持していることがわかった。 さらに、近似の質に基づいてkを選択するための動的アプローチを提案し、より大きなデータセットに対してより効率的にする。

関連論文リスト

• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
  我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。 我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
  論文  参考訳（メタデータ） (2022-09-29T08:16:52Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Data Shapley Valuation for Efficient Batch Active Learning [21.76249748709411]
  Active Data Shapley(ADS)は、バッチアクティブラーニングのためのフィルタリングレイヤーです。 ADSは、ラベルのないデータのプールが現実世界の異常を示す場合に特に効果的であることを示す。
  論文  参考訳（メタデータ） (2021-04-16T18:53:42Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)
• GLISTER: Generalization based Data Subset Selection for Efficient and Robust Learning [11.220278271829699]
  GeneraLIzationベースのデータSubset selecTion for Efficient and Robust LearningフレームワークであるGlisterを紹介します。 パラメータ更新とともに反復的にデータ選択を行う反復オンラインアルゴリズムglister-onlineを提案する。 筆者らのフレームワークは,(a) と (c) の場合に) 効率, 精度の両面で向上し, 他の最先端の堅牢な学習アルゴリズムと比較して, より効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-19T08:41:34Z)
• Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors [75.58555462743585]
  訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。 Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。 連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
  論文  参考訳（メタデータ） (2020-04-21T15:20:19Z)
• kDecay: Just adding k-decay items on Learning-Rate Schedule to improve Neural Networks [5.541389959719384]
  k-decayは、よく使われるLRスケジュールの性能を効果的に改善する。 我々は、異なるニューラルネットワークを用いたCIFARおよびImageNetデータセットにおけるk-decay法の評価を行った。 精度はCIFAR-10データセットで1.08%、CIFAR-100データセットで2.07%向上した。
  論文  参考訳（メタデータ） (2020-04-13T12:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。