論文の概要: Re-Benchmarking Pool-Based Active Learning for Binary Classification
- arxiv url: http://arxiv.org/abs/2306.08954v2
- Date: Sun, 24 Sep 2023 01:52:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 02:08:57.882433
- Title: Re-Benchmarking Pool-Based Active Learning for Binary Classification
- Title（参考訳）: 二分分類のためのリベンチマーキングプールベースのアクティブラーニング
- Authors: Po-Yi Lu, Chun-Liang Li, Hsuan-Tien Lin
- Abstract要約: アクティブラーニング(英: Active Learning)は、ラベル付きデータを取得する際の機械学習モデルの性能を大幅に向上させるパラダイムである。
アクティブな学習戦略を評価するためのベンチマークはいくつか存在するが、それらの発見はいくつかの誤解を示している。
この不一致は、コミュニティのために透明で再現可能なベンチマークを開発する動機となります。
- 参考スコア（独自算出の注目度）: 27.034593234956713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active learning is a paradigm that significantly enhances the performance of
machine learning models when acquiring labeled data is expensive. While several
benchmarks exist for evaluating active learning strategies, their findings
exhibit some misalignment. This discrepancy motivates us to develop a
transparent and reproducible benchmark for the community. Our efforts result in
an open-sourced implementation
(https://github.com/ariapoy/active-learning-benchmark) that is reliable and
extensible for future research. By conducting thorough re-benchmarking
experiments, we have not only rectified misconfigurations in existing benchmark
but also shed light on the under-explored issue of model compatibility, which
directly causes the observed discrepancy. Resolving the discrepancy reassures
that the uncertainty sampling strategy of active learning remains an effective
and preferred choice for most datasets. Our experience highlights the
importance of dedicating research efforts towards re-benchmarking existing
benchmarks to produce more credible results and gain deeper insights.
- Abstract（参考訳）: アクティブラーニング(active learning)は、ラベル付きデータを取得する際の機械学習モデルのパフォーマンスを大幅に向上させるパラダイムである。
アクティブな学習戦略を評価するためのベンチマークはいくつか存在するが、その発見はいくつかの誤解を示している。
この不一致は、コミュニティのために透明で再現可能なベンチマークを開発する動機となります。
我々の取り組みはオープンソース実装(https://github.com/ariapoy/active-learning-benchmark)となり、将来の研究に信頼性と拡張性をもたらします。
徹底的な再ベンチマーク実験を行うことで、既存のベンチマークの誤設定を修正できただけでなく、モデル互換性の未解決問題にも光を当てた。
矛盾を解決することは、アクティブラーニングの不確実性サンプリング戦略が、ほとんどのデータセットにとって有効かつ望ましい選択であることを保証する。
私たちの経験は、既存のベンチマークを再ベンチマークして、より信頼できる結果を生み出し、より深い洞察を得るために研究努力を集中することの重要性を強調しています。
関連論文リスト
- Position: LLM Unlearning Benchmarks are Weak Measures of Progress [31.957968729934745]
既存のベンチマークでは、候補となる未学習手法の有効性について、過度に楽観的で誤解を招く可能性がある。
既存のベンチマークは特に、情報を忘れることと保持することの間に、さらに緩やかな依存関係をもたらす変更に対して脆弱である、と認識しています。
論文 参考訳（メタデータ） (2024-10-03T18:07:25Z) - Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。
本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。
1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
論文 参考訳（メタデータ） (2024-02-19T07:15:59Z) - BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。
我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
論文 参考訳（メタデータ） (2023-12-26T08:14:46Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳（メタデータ） (2022-11-24T13:18:27Z) - Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。
多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。
提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
論文 参考訳（メタデータ） (2021-09-13T20:58:40Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳（メタデータ） (2021-04-06T22:53:45Z) - Rebuilding Trust in Active Learning with Actionable Metrics [77.99796068970569]
アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。
これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。
積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
論文 参考訳（メタデータ） (2020-12-18T09:34:59Z) - Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文 参考訳（メタデータ） (2020-09-30T05:19:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。