論文の概要: Re-Benchmarking Pool-Based Active Learning for Binary Classification

• arxiv url: http://arxiv.org/abs/2306.08954v1
• Date: Thu, 15 Jun 2023 08:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-06-16 15:43:08.251220
• Title: Re-Benchmarking Pool-Based Active Learning for Binary Classification
• Title（参考訳）: 二分分類のためのリベンチマーキングプールベースのアクティブラーニング
• Authors: Po-Yi Lu, Chun-Liang Li, Hsuan-Tien Lin
• Abstract要約: アクティブラーニング(英: Active Learning)は、ラベル付きデータを取得する際の機械学習モデルの性能を大幅に向上させるパラダイムである。 アクティブな学習戦略を評価するためのベンチマークはいくつか存在するが、それらの発見はいくつかの誤解を示している。 この不一致は、コミュニティのために透明で再現可能なベンチマークを開発する動機となります。
• 参考スコア（独自算出の注目度）: 27.309312738258836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning is a paradigm that significantly enhances the performance of machine learning models when acquiring labeled data is expensive. While several benchmarks exist for evaluating active learning strategies, their findings exhibit some misalignment. This discrepancy motivates us to develop a transparent and reproducible benchmark for the community. Our efforts result in an open-sourced implementation (https://github.com/ariapoy/active-learning-benchmark) that is reliable and extensible for future research. By conducting thorough re-benchmarking experiments, we have not only rectified misconfigurations in existing benchmark but also shed light on the under-explored issue of model compatibility, which directly causes the observed discrepancy. Resolving the discrepancy reassures that the uncertainty sampling strategy of active learning remains an effective and preferred choice for most datasets. Our experience highlights the importance of dedicating research efforts towards re-benchmarking existing benchmarks to produce more credible results and gain deeper insights.
• Abstract（参考訳）: アクティブラーニング(active learning)は、ラベル付きデータを取得する際の機械学習モデルのパフォーマンスを大幅に向上させるパラダイムである。 アクティブな学習戦略を評価するためのベンチマークはいくつか存在するが、その発見はいくつかの誤解を示している。 この不一致は、コミュニティのために透明で再現可能なベンチマークを開発する動機となります。 我々の取り組みはオープンソース実装(https://github.com/ariapoy/active-learning-benchmark)となり、将来の研究に信頼性と拡張性をもたらします。 徹底的な再ベンチマーク実験を行うことで、既存のベンチマークの誤設定を修正できただけでなく、モデル互換性の未解決問題にも光を当てた。 矛盾を解決することは、アクティブラーニングの不確実性サンプリング戦略が、ほとんどのデータセットにとって有効かつ望ましい選択であることを保証する。 私たちの経験は、既存のベンチマークを再ベンチマークして、より信頼できる結果を生み出し、より深い洞察を得るために研究努力を集中することの重要性を強調しています。

関連論文リスト

• Position: LLM Unlearning Benchmarks are Weak Measures of Progress [31.957968729934745]
  既存のベンチマークでは、候補となる未学習手法の有効性について、過度に楽観的で誤解を招く可能性がある。 既存のベンチマークは特に、情報を忘れることと保持することの間に、さらに緩やかな依存関係をもたらす変更に対して脆弱である、と認識しています。
  論文  参考訳（メタデータ） (2024-10-03T18:07:25Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
  多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。 我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
  論文  参考訳（メタデータ） (2023-12-26T08:14:46Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• ActiveGLAE: A Benchmark for Deep Active Learning with Transformers [5.326702806697265]
  Deep Active Learning (DAL)は、モデルを最大限に学習したいインスタンスアノテーションを積極的にクエリできるようにすることで、アノテーションのコストを削減しようとしている。 DALの分野では、トランスフォーマーベースの言語モデルに対する標準化された評価プロトコルが存在しない。 DALを評価するための総合的なデータセットと評価ガイドラインであるActiveGLAEベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-16T13:07:29Z)
• OpenAL: Evaluation and Interpretation of Active Learning Strategies [0.0]
  OpenALは、リアルなタスクのコレクション上で、AL戦略のサンプリングを実行し比較するための、柔軟でオープンソースのフレームワークです。 提案するベンチマークでは,解釈可能性の指標と統計的分析手法を用いて,サンプルが他よりも優れている理由と時期を解析する。
  論文  参考訳（メタデータ） (2023-04-11T14:35:14Z)
• Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment [3.3064235071867856]
  アクティブラーニング(AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 半教師型(Semi-SL)や自己教師型学習(Self-SL)のような新興パラダイムと比較して、ALの有効性を疑問視する研究もある。
  論文  参考訳（メタデータ） (2023-01-25T15:07:44Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• Is margin all you need? An extensive empirical study of active learning on tabular data [66.18464006872345]
  我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。 意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
  論文  参考訳（メタデータ） (2022-10-07T21:18:24Z)
• ImitAL: Learned Active Learning Strategy on Synthetic Data [30.595138995552748]
  ImitALはドメインに依存しない新しいクエリ戦略であり、ALを学習からランクまでの問題としてエンコードする。 我々はImitALを、純粋に合成されたデータセット上で大規模にシミュレーションされたALで訓練する。 ImitALがうまくトレーニングされたことを示すため、13の異なるデータセット上での戦略の比較を広範囲に評価した。
  論文  参考訳（メタデータ） (2022-08-24T16:17:53Z)
• Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
  教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。 多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。 提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
  論文  参考訳（メタデータ） (2021-09-13T20:58:40Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Rebuilding Trust in Active Learning with Actionable Metrics [77.99796068970569]
  アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。 これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。 積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
  論文  参考訳（メタデータ） (2020-12-18T09:34:59Z)
• Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
  アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。 本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。 提案するAL戦略は,他のAL戦略よりも有意差で優れている。
  論文  参考訳（メタデータ） (2020-11-02T06:24:58Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。