論文の概要: ALPBench: A Benchmark for Active Learning Pipelines on Tabular Data
- arxiv url: http://arxiv.org/abs/2406.17322v1
- Date: Tue, 25 Jun 2024 07:14:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 15:21:33.668445
- Title: ALPBench: A Benchmark for Active Learning Pipelines on Tabular Data
- Title(参考訳): ALPBench: タブラルデータに基づくアクティブラーニングパイプラインのベンチマーク
- Authors: Valentin Margraf, Marcel Wever, Sandra Gilhuber, Gabriel Marques Tavares, Thomas Seidl, Eyke Hüllermeier,
- Abstract要約: ラベル付きデータの予算額のみが手に入るような環境では、アクティブラーニングはラベル付けすべき最も情報性の高いデータポイントを選択するためのクエリ戦略を考案しようとする。
活発な学習文献において,このようなクエリ戦略が提案され,比較されている。
コミュニティは、異なるクエリ戦略のパフォーマンスを比較するための標準ベンチマークをまだ持っていない。
- 参考スコア(独自算出の注目度): 18.553222868627792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In settings where only a budgeted amount of labeled data can be afforded, active learning seeks to devise query strategies for selecting the most informative data points to be labeled, aiming to enhance learning algorithms' efficiency and performance. Numerous such query strategies have been proposed and compared in the active learning literature. However, the community still lacks standardized benchmarks for comparing the performance of different query strategies. This particularly holds for the combination of query strategies with different learning algorithms into active learning pipelines and examining the impact of the learning algorithm choice. To close this gap, we propose ALPBench, which facilitates the specification, execution, and performance monitoring of active learning pipelines. It has built-in measures to ensure evaluations are done reproducibly, saving exact dataset splits and hyperparameter settings of used algorithms. In total, ALPBench consists of 86 real-world tabular classification datasets and 5 active learning settings, yielding 430 active learning problems. To demonstrate its usefulness and broad compatibility with various learning algorithms and query strategies, we conduct an exemplary study evaluating 9 query strategies paired with 8 learning algorithms in 2 different settings. We provide ALPBench here: https://github.com/ValentinMargraf/ActiveLearningPipelines.
- Abstract(参考訳): ラベル付きデータの予算額のみが手に入るような環境では、アクティブラーニングは、ラベル付けすべき最も情報性の高いデータポイントを選択するためのクエリ戦略を考案し、学習アルゴリズムの効率と性能を向上させることを目的としている。
活発な学習文献において,このようなクエリ戦略が提案され,比較されている。
しかし、コミュニティは異なるクエリ戦略のパフォーマンスを比較するための標準ベンチマークをまだ持っていない。
これは特に、クエリ戦略と異なる学習アルゴリズムの組み合わせをアクティブな学習パイプラインに当てはめ、学習アルゴリズムの選択の影響を調べる。
このギャップを埋めるために、アクティブな学習パイプラインの仕様、実行、パフォーマンス監視を容易にするALPBenchを提案する。
評価を再現可能にし、正確なデータセット分割と使用済みアルゴリズムのハイパーパラメータ設定を節約するための手段が組み込まれている。
ALPBenchは、86の現実世界の表層分類データセットと5つのアクティブな学習設定で構成され、430のアクティブな学習問題をもたらす。
各種学習アルゴリズムと問合せ戦略との汎用性と広範囲な互換性を示すために,8つの学習アルゴリズムを2つの異なる設定で組み合わせた9つの問合せ戦略を評価する。
https://github.com/ValentinMargraf/ActiveLearningPipelines.com/ActiveLearningPipelines。
関連論文リスト
- BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。
我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
論文 参考訳(メタデータ) (2023-12-26T08:14:46Z) - Exploring Active Learning in Meta-Learning: Enhancing Context Set Labeling [17.563853245956455]
いくつかの設定では、ラベルのどのポイントを積極的に選択することが可能である。
ガウス混合体を適合させてラベルのどの点を選択するかを選択する自然アルゴリズムを提案する。
提案アルゴリズムは、複数のベンチマークデータセットにまたがる様々なメタラーニングアルゴリズムを使用する場合、最先端のアクティブラーニング手法より優れている。
論文 参考訳(メタデータ) (2023-11-06T05:18:01Z) - ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-01T10:42:11Z) - Novel Batch Active Learning Approach and Its Application to Synthetic
Aperture Radar Datasets [7.381841249558068]
近年、合成開口レーダ(SAR)データarXiv:2204.00005のシーケンシャルな能動学習が実施されている。
そこで我々は,Dijkstraのコアセット生成用Annulus Core-Set(DAC)とバッチサンプリング用LocalMaxという,バッチアクティブラーニングのための新しい2部構成のアプローチを開発した。
DACとLocalMaxを組み合わせたバッチアクティブラーニングプロセスは、逐次アクティブラーニングとほぼ同じ精度で、バッチサイズに比例して効率的である。
論文 参考訳(メタデータ) (2023-07-19T23:25:21Z) - Offline RL with No OOD Actions: In-Sample Learning via Implicit Value
Regularization [90.9780151608281]
インサンプルラーニング(IQL)は、データサンプルのみを使用して、定量的回帰によってポリシーを改善する。
サンプル内学習のパラダイムがtextitImplicit Value Regularization (IVR) フレームワークの下で生まれることを確認する。
Sparse $Q$-learning (EQL)とExponential $Q$-learning (EQL)の2つの実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-28T08:30:01Z) - Algorithm Selection for Deep Active Learning with Imbalanced Datasets [11.902019233549474]
アクティブな学習は、ディープネットワークのトレーニングに必要なラベル付きサンプルの数を減らすことを目的としている。
アクティブな学習戦略が与えられたアプリケーションでうまく機能するか、どれが最善であるかを事前に知るのは難しい。
深層能動学習のための適応型アルゴリズム選択手法を提案する。
論文 参考訳(メタデータ) (2023-02-14T19:59:49Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳(メタデータ) (2022-01-07T02:46:35Z) - Meta Navigator: Search for a Good Adaptation Policy for Few-shot
Learning [113.05118113697111]
少ないショット学習は、ラベル付きデータしか持たない新しいタスクに、以前のタスクから学んだ知識を適応させることを目的としている。
少数ショット学習に関する研究文献は、大きな多様性を示し、異なるアルゴリズムは、しばしば異なる少数ショット学習シナリオで優れている。
本稿では,メタナビゲータ(Meta Navigator)について紹介する。
論文 参考訳(メタデータ) (2021-09-13T07:20:01Z) - Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
両レベル最適化によるデータ要約問題として,本手法を定式化する。
本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
論文 参考訳(メタデータ) (2020-10-19T16:53:24Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳(メタデータ) (2020-10-01T15:59:31Z) - A Comprehensive Benchmark Framework for Active Learning Methods in
Entity Matching [17.064993611446898]
本稿では,EMのための統合型アクティブラーニングベンチマークフレームワークを構築する。
このフレームワークの目的は、積極的学習の組み合わせがEMにどのような効果をもたらすかについて、実践者のための具体的なガイドラインを可能にすることである。
また、F1スコアの観点から学習モデルの品質を約9%向上し、モデルの品質に影響を与えることなく、サンプル選択のレイテンシを最大10倍削減する新しい最適化も含んでいる。
論文 参考訳(メタデータ) (2020-03-29T19:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。