論文の概要: Rebuilding Trust in Active Learning with Actionable Metrics
- arxiv url: http://arxiv.org/abs/2012.11365v3
- Date: Fri, 19 Feb 2021 08:15:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 18:23:00.173450
- Title: Rebuilding Trust in Active Learning with Actionable Metrics
- Title（参考訳）: 行動可能なメトリクスによるアクティブラーニングにおける信頼の再構築
- Authors: Alexandre Abraham and L\'eo Dreyfus-Schmidt
- Abstract要約: アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。
これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。
積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
- 参考スコア（独自算出の注目度）: 77.99796068970569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active Learning (AL) is an active domain of research, but is seldom used in
the industry despite the pressing needs. This is in part due to a misalignment
of objectives, while research strives at getting the best results on selected
datasets, the industry wants guarantees that Active Learning will perform
consistently and at least better than random labeling. The very one-off nature
of Active Learning makes it crucial to understand how strategy selection can be
carried out and what drives poor performance (lack of exploration, selection of
samples that are too hard to classify, ...).
To help rebuild trust of industrial practitioners in Active Learning, we
present various actionable metrics. Through extensive experiments on reference
datasets such as CIFAR100, Fashion-MNIST, and 20Newsgroups, we show that those
metrics brings interpretability to AL strategies that can be leveraged by the
practitioner.
- Abstract（参考訳）: アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。
これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得ることを目指しているが、業界はActive Learningがランダムなラベル付けよりも一貫して、少なくとも良いパフォーマンスを期待している。
アクティブラーニングの非常に単発的な性質は、戦略の選択がどのように実行され、何がパフォーマンスを低下させるかを理解するのに不可欠である(探索の遅れ、分類が難しいサンプルの選択、...)。
積極的学習における産業実践者の信頼回復を支援するため,様々な活動可能な指標を提示する。
CIFAR100、Fashion-MNIST、20Newsgroupsといった参照データセットに関する広範な実験を通じて、これらのメトリクスが、実践者が活用できるAL戦略に解釈可能性をもたらすことを示す。
関連論文リスト
- BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。
我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
論文 参考訳（メタデータ） (2023-12-26T08:14:46Z) - Active Prompt Learning in Vision Language Models [21.276006224504748]
我々は,PCBと表記される事前学習型視覚言語モデルのための新しいアクティブラーニングフレームワークを考案した。
そこで本研究では,7つの実世界のデータセットを用いて実験を行い,PCBが従来の能動的学習法やランダムサンプリング法を超えることを示した。
論文 参考訳（メタデータ） (2023-11-18T22:42:16Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - Re-Benchmarking Pool-Based Active Learning for Binary Classification [27.034593234956713]
アクティブラーニング(英: Active Learning)は、ラベル付きデータを取得する際の機械学習モデルの性能を大幅に向上させるパラダイムである。
アクティブな学習戦略を評価するためのベンチマークはいくつか存在するが、それらの発見はいくつかの誤解を示している。
この不一致は、コミュニティのために透明で再現可能なベンチマークを開発する動機となります。
論文 参考訳（メタデータ） (2023-06-15T08:47:50Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳（メタデータ） (2022-11-24T13:18:27Z) - ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。
本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
論文 参考訳（メタデータ） (2022-05-10T15:39:11Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳（メタデータ） (2021-10-15T06:11:53Z) - SIMILAR: Submodular Information Measures Based Active Learning In
Realistic Scenarios [1.911678487931003]
SIMILARは,最近提案されたサブモジュール情報測度(SIM)を取得関数として用いた一貫した能動学習フレームワークである。
SIMILARは,レアクラスでは5%～18%,アウト・オブ・ディストリビューションデータでは5%～10%と,既存のアクティブ・ラーニング・アルゴリズムを著しく上回っている。
論文 参考訳（メタデータ） (2021-07-01T19:49:44Z) - A Comprehensive Benchmark Framework for Active Learning Methods in
Entity Matching [17.064993611446898]
本稿では,EMのための統合型アクティブラーニングベンチマークフレームワークを構築する。
このフレームワークの目的は、積極的学習の組み合わせがEMにどのような効果をもたらすかについて、実践者のための具体的なガイドラインを可能にすることである。
また、F1スコアの観点から学習モデルの品質を約9%向上し、モデルの品質に影響を与えることなく、サンプル選択のレイテンシを最大10倍削減する新しい最適化も含んでいる。
論文 参考訳（メタデータ） (2020-03-29T19:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。