論文の概要: Adaptive Batch Sizes for Active Learning A Probabilistic Numerics
Approach
- arxiv url: http://arxiv.org/abs/2306.05843v2
- Date: Wed, 21 Feb 2024 22:07:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 18:59:57.631031
- Title: Adaptive Batch Sizes for Active Learning A Probabilistic Numerics
Approach
- Title(参考訳): 確率的数値アプローチによるアクティブラーニングのための適応バッチサイズ
- Authors: Masaki Adachi, Satoshi Hayakawa, Martin J{\o}rgensen, Xingchen Wan, Vu
Nguyen, Harald Oberhauser, Michael A. Osborne
- Abstract要約: アクティブな学習並列化は広く使われているが、一般的には実験全体を通してバッチサイズの修正に依存している。
この固定されたアプローチは、コストとスピードの間の動的なトレードオフのため、非効率である。
本稿では,バッチサイズを適応的に変更する新しい確率論フレームワークを提案する。
- 参考スコア(独自算出の注目度): 28.815294991377645
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Active learning parallelization is widely used, but typically relies on
fixing the batch size throughout experimentation. This fixed approach is
inefficient because of a dynamic trade-off between cost and speed -- larger
batches are more costly, smaller batches lead to slower wall-clock run-times --
and the trade-off may change over the run (larger batches are often preferable
earlier). To address this trade-off, we propose a novel Probabilistic Numerics
framework that adaptively changes batch sizes. By framing batch selection as a
quadrature task, our integration-error-aware algorithm facilitates the
automatic tuning of batch sizes to meet predefined quadrature precision
objectives, akin to how typical optimizers terminate based on convergence
thresholds. This approach obviates the necessity for exhaustive searches across
all potential batch sizes. We also extend this to scenarios with constrained
active learning and constrained optimization, interpreting constraint
violations as reductions in the precision requirement, to subsequently adapt
batch construction. Through extensive experiments, we demonstrate that our
approach significantly enhances learning efficiency and flexibility in diverse
Bayesian batch active learning and Bayesian optimization applications.
- Abstract(参考訳): アクティブな学習並列化は広く使われているが、一般的には実験全体を通してバッチサイズの修正に依存している。
この固定されたアプローチは、コストとスピードの間のダイナミックなトレードオフのため、非効率である -- 大きなバッチはよりコストがかかり、小さなバッチはウォールタイムのランタイムが遅くなります。
このトレードオフに対処するために,バッチサイズを適応的に変更する新しい確率的数値フレームワークを提案する。
バッチ選択を二次タスクとして組み合わせることで、統合エラー認識アルゴリズムは、事前定義された二次精度目標を満たすために、バッチサイズの自動チューニングを容易にする。
このアプローチは、すべての潜在的バッチサイズにわたる徹底的な検索の必要性を解消する。
また、制約付きアクティブラーニングと制約付き最適化のシナリオにも拡張し、制約違反を正確な要件の削減として解釈し、バッチ構成を順応します。
広範な実験を通じて,本手法は多様なベイズバッチアクティブラーニングおよびベイズ最適化アプリケーションにおいて,学習効率と柔軟性を大幅に向上させることを実証する。
関連論文リスト
- Unraveling Batch Normalization for Realistic Test-Time Adaptation [22.126177142716188]
本稿では,ミニバッチ劣化問題について考察する。
バッチ正規化を解き放つことにより、不正確なターゲット統計は、バッチのクラス多様性が大幅に減少することに起因することが判明した。
テスト時間指数移動平均(TEMA)という簡単なツールを導入し、トレーニングとテストバッチ間のクラス多様性のギャップを埋める。
論文 参考訳(メタデータ) (2023-12-15T01:52:35Z) - BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。
提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
論文 参考訳(メタデータ) (2023-06-26T20:41:36Z) - Scalable Batch Acquisition for Deep Bayesian Active Learning [70.68403899432198]
ディープラーニングでは、各ステップでマークアップする複数の例を選択することが重要です。
BatchBALDのような既存のソリューションでは、多くの例を選択する際に大きな制限がある。
本稿では,より計算効率のよいLarge BatchBALDアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-13T11:45:17Z) - Efficiently Controlling Multiple Risks with Pareto Testing [34.83506056862348]
本稿では,多目的最適化と複数仮説テストを組み合わせた2段階プロセスを提案する。
自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-10-14T15:54:39Z) - A penalisation method for batch multi-objective Bayesian optimisation
with application in heat exchanger design [3.867356784754811]
本稿では,並列処理資源を効率的に活用する多目的ベイズ最適化手法を提案する。
類似の予測対象値を用いて評価を行うことで,バッチの多様性を高めることにより,HIPPOは大量の情報ポイントを安価に構築できることを示す。
論文 参考訳(メタデータ) (2022-06-27T14:16:54Z) - Batch Active Learning at Scale [39.26441165274027]
バッチクエリをラベル付けオラクルに適応的に発行するバッチアクティブラーニングは、この問題に対処するための一般的なアプローチである。
本研究では,大規模なバッチ設定に着目した効率的な能動学習アルゴリズムを解析する。
本研究では,不確実性と多様性の概念を組み合わせたサンプリング手法について,従来より数桁大きなバッチサイズ(100K-1M)に容易にスケール可能であることを示す。
論文 参考訳(メタデータ) (2021-07-29T18:14:05Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳(メタデータ) (2021-01-20T13:59:25Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳(メタデータ) (2020-07-02T16:02:02Z) - Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。
実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。
我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
論文 参考訳(メタデータ) (2020-05-03T14:28:32Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳(メタデータ) (2020-02-20T11:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。