論文の概要: Towards Robust and Reproducible Active Learning Using Neural Networks

• arxiv url: http://arxiv.org/abs/2002.09564v3
• Date: Wed, 15 Jun 2022 18:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 00:25:58.552943
• Title: Towards Robust and Reproducible Active Learning Using Neural Networks
• Title（参考訳）: ニューラルネットワークを用いたロバストかつ再現可能なアクティブラーニング
• Authors: Prateek Munjal, Nasir Hayat, Munawar Hayat, Jamshid Sourati, Shadab Khan
• Abstract要約: アクティブラーニング(AL)は、大きなラベルのないデータを解析する可能性を持つ、有望なMLパラダイムである。 近年、ニューラルネットワークに基づくAL手法が、ラベル付けデータを禁止可能な領域におけるアノテーションコストの削減に有効である。 本研究では,異なるタイプのALアルゴリズムがランダムサンプリングベースラインよりも不整合ゲインを生み出すことを示す。
• 参考スコア（独自算出の注目度）: 15.696979318409392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning (AL) is a promising ML paradigm that has the potential to parse through large unlabeled data and help reduce annotation cost in domains where labeling data can be prohibitive. Recently proposed neural network based AL methods use different heuristics to accomplish this goal. In this study, we demonstrate that under identical experimental settings, different types of AL algorithms (uncertainty based, diversity based, and committee based) produce an inconsistent gain over random sampling baseline. Through a variety of experiments, controlling for sources of stochasticity, we show that variance in performance metrics achieved by AL algorithms can lead to results that are not consistent with the previously reported results. We also found that under strong regularization, AL methods show marginal or no advantage over the random sampling baseline under a variety of experimental conditions. Finally, we conclude with a set of recommendations on how to assess the results using a new AL algorithm to ensure results are reproducible and robust under changes in experimental conditions. We share our codes to facilitate AL evaluations. We believe our findings and recommendations will help advance reproducible research in AL using neural networks. We open source our code at https://github.com/PrateekMunjal/TorchAL
• Abstract（参考訳）: アクティブラーニング(AL)は有望なMLパラダイムであり、ラベルなしの大きなデータを解析し、ラベル付けデータを禁止可能なドメインにおけるアノテーションコストの削減を支援する。 最近提案されたニューラルネットワークに基づくAL手法はこの目的を達成するために異なるヒューリスティックを使用する。 本研究では,同じ実験条件下で異なるタイプのALアルゴリズム(不確実性ベース,多様性ベース,委員会ベース)がランダムサンプリングベースラインよりも不整合なゲインを生み出すことを示す。 確率性の源を制御した様々な実験を通じて,alアルゴリズムによる性能指標のばらつきが,以前に報告した結果と一致しない結果につながることを示した。 また, 強い正則化の下では, 種々の実験条件下でのランダムサンプリングベースラインに対して, AL法は限界あるいは無利得を示すことがわかった。 最後に,実験条件の変化による再現性と堅牢性を確保するために,新たなALアルゴリズムを用いて結果を評価する方法について,一連の推奨事項をまとめた。 AL評価を促進するためのコードを共有します。 我々は、ニューラルネットワークを用いたALにおける再現可能な研究を進めるのに役立つと信じている。 ソースコードはhttps://github.com/PrateekMunjal/TorchALで公開しています。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
  ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
  論文  参考訳（メタデータ） (2024-06-06T10:38:01Z)
• Score-based Source Separation with Applications to Digital Communication Signals [72.6570125649502]
  拡散モデルを用いた重畳音源の分離手法を提案する。 高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。 提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-26T04:12:40Z)
• On the Limitations of Simulating Active Learning [32.34440406689871]
  アクティブラーニング(アクティブラーニング、英: Active Learning、AL)は、人間のアノテーションのための情報的未ラベルデータを反復的に選択する、ヒューマン・アンド・モデル・イン・ザ・ループのパラダイムである。 この障害に対する簡単な修正は、ラベル付きで公開されているデータセットをラベルなしデータのプールとして扱うことで、ALをシミュレートすることだ。 我々は、利用可能なラベル付きデータセット上でのALアルゴリズムの評価は、実データにおけるそれらの有効性に対して低いバウンドを与えるかもしれないと論じる。
  論文  参考訳（メタデータ） (2023-05-21T22:52:13Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• Active Learning-Based Optimization of Scientific Experimental Design [1.9705094859539976]
  Active Learning(AL)は、ラベル付きトレーニングインスタンスを少なくすることで、より精度の高い機械学習アルゴリズムである。 本稿では,提案したALスキームを用いた薬物応答データセットの振り返り研究を行う。 これは、手動で設定するのではなく、科学的な実験設計がALによって最適化可能であることを示している。
  論文  参考訳（メタデータ） (2021-12-29T20:02:35Z)
• Active learning for reducing labeling effort in text classification tasks [3.8424737607413153]
  アクティブラーニング(英: Active Learning, AL)は、使用済みモデルが最も有益とみなすデータのみを使用することでラベル付けの労力を削減することを目的としたパラダイムである。 本稿では,異なる不確実性に基づくアルゴリズム BERT$_base$ を比較した実験的検討を行った。 その結果,BERT$base$で不確実性に基づくALを用いることで,データのランダムサンプリングに優れることがわかった。
  論文  参考訳（メタデータ） (2021-09-10T13:00:36Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Active Structure Learning of Bayesian Networks in an Observational Setting [21.376800678915558]
  観測環境におけるベイズネットワークのアクティブ構造学習について検討した。 本稿では,高い確率で最適なスコアに対して$epsilon$-closeのスコアを持つ構造を求める,新しい能動学習アルゴリズムを提案する。 安定」と呼ばれる分布のクラスについて、$d$がネットワーク変数の数である$widetildeOmega(d3)$の係数までのサンプル複雑さの減少が得られることを示しています。
  論文  参考訳（メタデータ） (2021-03-25T12:50:14Z)
• On the Robustness of Active Learning [0.7340017786387767]
  Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。 十分な注意とドメイン知識を持っていないことがよくあります。 そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T09:07:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。