論文の概要: On the Fragility of Active Learners

• arxiv url: http://arxiv.org/abs/2403.15744v1
• Date: Sat, 23 Mar 2024 07:16:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 21:12:36.480132
• Title: On the Fragility of Active Learners
• Title（参考訳）: 能動学習者の脆弱性について
• Authors: Abhishek Ghose, Emma Nguyen,
• Abstract要約: アクティブラーニング(AL)技術は、予測精度を向上させる可能性が最も高いインスタンスを反復的に選択することで、ラベル付け予算を最大限に活用することを目的としている。 本研究では,異なる要因の組み合わせがAL手法から得られる利益を如何に隠蔽するかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active learning (AL) techniques aim to maximally utilize a labeling budget by iteratively selecting instances that are most likely to improve prediction accuracy. However, their benefit compared to random sampling has not been consistent across various setups, e.g., different datasets, classifiers. In this empirical study, we examine how a combination of different factors might obscure any gains from an AL technique. Focusing on text classification, we rigorously evaluate AL techniques over around 1000 experiments that vary wrt the dataset, batch size, text representation and the classifier. We show that AL is only effective in a narrow set of circumstances. We also address the problem of using metrics that are better aligned with real world expectations. The impact of this study is in its insights for a practitioner: (a) the choice of text representation and classifier is as important as that of an AL technique, (b) choice of the right metric is critical in assessment of the latter, and, finally, (c) reported AL results must be holistically interpreted, accounting for variables other than just the query strategy.
• Abstract（参考訳）: アクティブラーニング(AL)技術は、予測精度を向上させる可能性が最も高いインスタンスを反復的に選択することで、ラベル付け予算を最大限に活用することを目的としている。 しかし、ランダムサンプリングと比較した場合の利点は、例えば、異なるデータセット、分類器など、さまざまな設定で一致していない。 本研究では,異なる要因の組み合わせがAL手法から得られる利益を如何に隠蔽するかを実験的に検討する。 テキスト分類に着目し,データセット,バッチサイズ,テキスト表現,分類器など,約1000の実験からAL手法を厳格に評価する。 ALは限られた状況下でのみ有効であることを示す。 また、現実世界の期待に合うようなメトリクスを使用するという問題にも対処しています。 この研究の影響は、実践者にとっての洞察にある。 (a)テキスト表現と分類器の選択はAL技術と同じくらい重要である。 b) 正しい計量の選択は後者の評価において重要であり、最後に (c) AL結果の報告は、クエリ戦略以外の変数を考慮し、論理的に解釈されなければならない。

関連論文リスト

• MyriadAL: Active Few Shot Learning for Histopathology [10.652626309100889]
  我々は、Myriad Active Learning (MAL)という、アクティブな数個のショットラーニングフレームワークを導入する。 MALには、コントラスト学習エンコーダ、擬似ラベル生成、ループ内の新しいクエリサンプル選択が含まれている。 2つの公的な病理組織学データセットの実験により、MALは以前の研究に比べてテスト精度、マクロF1スコア、ラベル効率が優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-24T20:08:15Z)
• Unified Pretraining for Recommendation via Task Hypergraphs [55.98773629788986]
  本稿では,タスクハイパーグラフによる推薦のための統一事前学習という,新しいマルチタスク事前学習フレームワークを提案する。 多様なプレテキストタスクの要求やニュアンスを処理するための統一学習パターンとして,プレテキストタスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。 各プレテキストタスクとレコメンデーションの関連性を識別的に学習するために、新しいトランジショナルアテンション層が考案される。
  論文  参考訳（メタデータ） (2023-10-20T05:33:21Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Is margin all you need? An extensive empirical study of active learning on tabular data [66.18464006872345]
  我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。 意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
  論文  参考訳（メタデータ） (2022-10-07T21:18:24Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• Progressive End-to-End Object Detection in Crowded Scenes [96.92416613336096]
  以前のクエリベースの検出器は2つの欠点に悩まされていた: まず、複数の予測が1つのオブジェクトに対して推論される。 具体的には、まず受理されたクエリを選択して正の予測を生成し、その後、受理された予測に従って残雑音のあるクエリを精査する。 提案手法は,混み合ったシーンにおける問合せ型検出器の性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-15T06:12:00Z)
• Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
  本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。 プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。 各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
  論文  参考訳（メタデータ） (2022-01-19T07:58:06Z)
• Active learning for reducing labeling effort in text classification tasks [3.8424737607413153]
  アクティブラーニング(英: Active Learning, AL)は、使用済みモデルが最も有益とみなすデータのみを使用することでラベル付けの労力を削減することを目的としたパラダイムである。 本稿では,異なる不確実性に基づくアルゴリズム BERT$_base$ を比較した実験的検討を行った。 その結果,BERT$base$で不確実性に基づくALを用いることで,データのランダムサンプリングに優れることがわかった。
  論文  参考訳（メタデータ） (2021-09-10T13:00:36Z)
• Towards optimally abstaining from prediction [22.937799541125607]
  機械学習のあらゆる領域に共通する課題は、トレーニングデータがテストデータのように分散されていないことだ。 一定のコストで予測を控えるモデルを考える。 我々は、Goldwasser、Kalais、Montasser(2020年)の最近の禁断アルゴリズムに基づいて、トランスダクティブバイナリ分類を行った。
  論文  参考訳（メタデータ） (2021-05-28T21:44:48Z)
• IALE: Imitating Active Learner Ensembles [1.8655840060559172]
  本研究では,アクティブな学習サイクルの各段階において,最高の専門家の選択を模倣する模倣学習手法を提案する。 DAGGERを使用して、データセット上でポリシーをトレーニングし、その後、同様のドメインのデータセットに適用します。
  論文  参考訳（メタデータ） (2020-07-09T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。