論文の概要: An Expanded Benchmark that Rediscovers and Affirms the Edge of Uncertainty Sampling for Active Learning in Tabular Datasets

• arxiv url: http://arxiv.org/abs/2306.08954v3
• Date: Mon, 23 Jun 2025 08:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.107764
• Title: An Expanded Benchmark that Rediscovers and Affirms the Edge of Uncertainty Sampling for Active Learning in Tabular Datasets
• Title（参考訳）: 語彙データセットにおけるアクティブラーニングのための不確かさサンプリングのエッジを再検討し確認する拡張ベンチマーク
• Authors: Po-Yi Lu, Yi-Jie Cheng, Chun-Liang Li, Hsuan-Tien Lin,
• Abstract要約: Active Learning (AL)は、マシンが戦略的クエリを通じてラベル付きサンプルを効率的に収集できるという重要な課題に対処する。 多くのAL戦略の中で、不確実性サンプリング(US)が最も広く採用されている。 アメリカよりも優れた代替案を示唆する文献の主張にもかかわらず、地域全体での受容はいまだにあり得ない。
• 参考スコア（独自算出の注目度）: 22.01908989614291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active Learning (AL) addresses the crucial challenge of enabling machines to efficiently gather labeled examples through strategic queries. Among the many AL strategies, Uncertainty Sampling (US) stands out as one of the most widely adopted. US queries the example(s) that the current model finds uncertain, proving to be both straightforward and effective. Despite claims in the literature suggesting superior alternatives to US, community-wide acceptance remains elusive. In fact, existing benchmarks for tabular datasets present conflicting conclusions on the continued competitiveness of US. In this study, we review the literature on AL strategies in the last decade and build the most comprehensive open-source AL benchmark to date to understand the relative merits of different AL strategies. The benchmark surpasses existing ones by encompassing a broader coverage of strategies, models, and data. Through our investigation of the conflicting conclusions in existing tabular AL benchmarks by evaluation under broad AL experimental settings, we uncover fresh insights into the often-overlooked issue of using machine learning models--**model compatibility** in the context of US. Specifically, we notice that adopting the different models for the querying unlabeled examples and learning tasks would degrade US's effectiveness. Notably, our findings affirm that US maintains a competitive edge over other strategies when paired with compatible models. These findings have practical implications and provide a concrete recipe for AL practitioners, empowering them to make informed decisions when working with tabular classifications with limited labeled data. The code for this project is available on https://github.com/ariapoy/active-learning-benchmark.
• Abstract（参考訳）: Active Learning (AL)は、マシンが戦略的クエリを通じてラベル付きサンプルを効率的に収集できるという重要な課題に対処する。 多くのAL戦略の中で、不確実性サンプリング(US)が最も広く採用されている。 米国は、現在のモデルが不確かで、単純かつ効果的であることを証明した例(s)を問い合わせる。 アメリカよりも優れた代替案を示唆する文献の主張にもかかわらず、地域全体での受容はいまだにあり得ない。 実際、既存のグラフデータセットのベンチマークでは、米国の継続的な競争力について矛盾する結論が出ている。 本研究では,過去10年間のAL戦略に関する文献をレビューし,異なるAL戦略の相対的メリットを理解するために,これまでで最も包括的なオープンソースALベンチマークを構築した。 このベンチマークは、戦略、モデル、データの広範なカバレッジを網羅することで、既存のものを上回っている。 広義のAL条件下での評価による既存の表形式ALベンチマークの矛盾する結論の検証を通じて、機械学習モデルを使用するというしばしば見過ごされる問題に関する新たな知見を、米国の文脈において明らかにした。 具体的には、ラベルのないサンプルや学習タスクのクエリに異なるモデルを採用することで、米国の有効性が低下することに気付きます。 特に、当社の調査結果は、米国が互換性のあるモデルと組み合わせることで、他の戦略よりも競争力のある立場を維持していることを裏付けています。 これらの知見は実践的な意味を持ち、ラベル付きデータに制限のある表型分類を扱う際に、AL実践者に情報決定を行うための具体的なレシピを提供する。 プロジェクトのコードはhttps://github.com/ariapoy/active-learning-benchmarkで公開されている。

関連論文リスト

• Position: LLM Unlearning Benchmarks are Weak Measures of Progress [31.957968729934745]
  既存のベンチマークでは、候補となる未学習手法の有効性について、過度に楽観的で誤解を招く可能性がある。 既存のベンチマークは特に、情報を忘れることと保持することの間に、さらに緩やかな依存関係をもたらす変更に対して脆弱である、と認識しています。
  論文  参考訳（メタデータ） (2024-10-03T18:07:25Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
  多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。 我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
  論文  参考訳（メタデータ） (2023-12-26T08:14:46Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• ActiveGLAE: A Benchmark for Deep Active Learning with Transformers [5.326702806697265]
  Deep Active Learning (DAL)は、モデルを最大限に学習したいインスタンスアノテーションを積極的にクエリできるようにすることで、アノテーションのコストを削減しようとしている。 DALの分野では、トランスフォーマーベースの言語モデルに対する標準化された評価プロトコルが存在しない。 DALを評価するための総合的なデータセットと評価ガイドラインであるActiveGLAEベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-16T13:07:29Z)
• OpenAL: Evaluation and Interpretation of Active Learning Strategies [0.0]
  OpenALは、リアルなタスクのコレクション上で、AL戦略のサンプリングを実行し比較するための、柔軟でオープンソースのフレームワークです。 提案するベンチマークでは,解釈可能性の指標と統計的分析手法を用いて,サンプルが他よりも優れている理由と時期を解析する。
  論文  参考訳（メタデータ） (2023-04-11T14:35:14Z)
• Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment [3.3064235071867856]
  アクティブラーニング(AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 半教師型(Semi-SL)や自己教師型学習(Self-SL)のような新興パラダイムと比較して、ALの有効性を疑問視する研究もある。
  論文  参考訳（メタデータ） (2023-01-25T15:07:44Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• Is margin all you need? An extensive empirical study of active learning on tabular data [66.18464006872345]
  我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。 意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
  論文  参考訳（メタデータ） (2022-10-07T21:18:24Z)
• ImitAL: Learned Active Learning Strategy on Synthetic Data [30.595138995552748]
  ImitALはドメインに依存しない新しいクエリ戦略であり、ALを学習からランクまでの問題としてエンコードする。 我々はImitALを、純粋に合成されたデータセット上で大規模にシミュレーションされたALで訓練する。 ImitALがうまくトレーニングされたことを示すため、13の異なるデータセット上での戦略の比較を広範囲に評価した。
  論文  参考訳（メタデータ） (2022-08-24T16:17:53Z)
• Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
  教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。 多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。 提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
  論文  参考訳（メタデータ） (2021-09-13T20:58:40Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Rebuilding Trust in Active Learning with Actionable Metrics [77.99796068970569]
  アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。 これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。 積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
  論文  参考訳（メタデータ） (2020-12-18T09:34:59Z)
• Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
  アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。 本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。 提案するAL戦略は,他のAL戦略よりも有意差で優れている。
  論文  参考訳（メタデータ） (2020-11-02T06:24:58Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。