論文の概要: An Expanded Benchmark that Rediscovers and Affirms the Edge of Uncertainty Sampling for Active Learning in Tabular Datasets

• arxiv url: http://arxiv.org/abs/2306.08954v3
• Date: Mon, 23 Jun 2025 08:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.107764
• Title: An Expanded Benchmark that Rediscovers and Affirms the Edge of Uncertainty Sampling for Active Learning in Tabular Datasets
• Title（参考訳）: 語彙データセットにおけるアクティブラーニングのための不確かさサンプリングのエッジを再検討し確認する拡張ベンチマーク
• Authors: Po-Yi Lu, Yi-Jie Cheng, Chun-Liang Li, Hsuan-Tien Lin,
• Abstract要約: Active Learning (AL)は、マシンが戦略的クエリを通じてラベル付きサンプルを効率的に収集できるという重要な課題に対処する。 多くのAL戦略の中で、不確実性サンプリング(US)が最も広く採用されている。 アメリカよりも優れた代替案を示唆する文献の主張にもかかわらず、地域全体での受容はいまだにあり得ない。
• 参考スコア（独自算出の注目度）: 22.01908989614291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active Learning (AL) addresses the crucial challenge of enabling machines to efficiently gather labeled examples through strategic queries. Among the many AL strategies, Uncertainty Sampling (US) stands out as one of the most widely adopted. US queries the example(s) that the current model finds uncertain, proving to be both straightforward and effective. Despite claims in the literature suggesting superior alternatives to US, community-wide acceptance remains elusive. In fact, existing benchmarks for tabular datasets present conflicting conclusions on the continued competitiveness of US. In this study, we review the literature on AL strategies in the last decade and build the most comprehensive open-source AL benchmark to date to understand the relative merits of different AL strategies. The benchmark surpasses existing ones by encompassing a broader coverage of strategies, models, and data. Through our investigation of the conflicting conclusions in existing tabular AL benchmarks by evaluation under broad AL experimental settings, we uncover fresh insights into the often-overlooked issue of using machine learning models--**model compatibility** in the context of US. Specifically, we notice that adopting the different models for the querying unlabeled examples and learning tasks would degrade US's effectiveness. Notably, our findings affirm that US maintains a competitive edge over other strategies when paired with compatible models. These findings have practical implications and provide a concrete recipe for AL practitioners, empowering them to make informed decisions when working with tabular classifications with limited labeled data. The code for this project is available on https://github.com/ariapoy/active-learning-benchmark.
• Abstract（参考訳）: Active Learning (AL)は、マシンが戦略的クエリを通じてラベル付きサンプルを効率的に収集できるという重要な課題に対処する。 多くのAL戦略の中で、不確実性サンプリング(US)が最も広く採用されている。 米国は、現在のモデルが不確かで、単純かつ効果的であることを証明した例(s)を問い合わせる。 アメリカよりも優れた代替案を示唆する文献の主張にもかかわらず、地域全体での受容はいまだにあり得ない。 実際、既存のグラフデータセットのベンチマークでは、米国の継続的な競争力について矛盾する結論が出ている。 本研究では,過去10年間のAL戦略に関する文献をレビューし,異なるAL戦略の相対的メリットを理解するために,これまでで最も包括的なオープンソースALベンチマークを構築した。 このベンチマークは、戦略、モデル、データの広範なカバレッジを網羅することで、既存のものを上回っている。 広義のAL条件下での評価による既存の表形式ALベンチマークの矛盾する結論の検証を通じて、機械学習モデルを使用するというしばしば見過ごされる問題に関する新たな知見を、米国の文脈において明らかにした。 具体的には、ラベルのないサンプルや学習タスクのクエリに異なるモデルを採用することで、米国の有効性が低下することに気付きます。 特に、当社の調査結果は、米国が互換性のあるモデルと組み合わせることで、他の戦略よりも競争力のある立場を維持していることを裏付けています。 これらの知見は実践的な意味を持ち、ラベル付きデータに制限のある表型分類を扱う際に、AL実践者に情報決定を行うための具体的なレシピを提供する。 プロジェクトのコードはhttps://github.com/ariapoy/active-learning-benchmarkで公開されている。

関連論文リスト

• Position: LLM Unlearning Benchmarks are Weak Measures of Progress [31.957968729934745]
  既存のベンチマークでは、候補となる未学習手法の有効性について、過度に楽観的で誤解を招く可能性がある。 既存のベンチマークは特に、情報を忘れることと保持することの間に、さらに緩やかな依存関係をもたらす変更に対して脆弱である、と認識しています。
  論文  参考訳（メタデータ） (2024-10-03T18:07:25Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
  多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。 我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
  論文  参考訳（メタデータ） (2023-12-26T08:14:46Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
  教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。 多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。 提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
  論文  参考訳（メタデータ） (2021-09-13T20:58:40Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Rebuilding Trust in Active Learning with Actionable Metrics [77.99796068970569]
  アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。 これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。 積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
  論文  参考訳（メタデータ） (2020-12-18T09:34:59Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。