論文の概要: Does Deep Active Learning Work in the Wild?

• arxiv url: http://arxiv.org/abs/2302.00098v2
• Date: Fri, 06 Dec 2024 04:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:22.242010
• Title: Does Deep Active Learning Work in the Wild?
• Title（参考訳）: ディープラーニングは野生で機能するのか?
• Authors: Simiao Ren, Saad Lahrichi, Yang Deng, Willie J. Padilla, Leslie Collins, Jordan Malof,
• Abstract要約: 深層能動学習(DAL)法は, 単純なランダムサンプリングに比べて, サンプル効率が著しく向上した。 ここでは、現実世界の環境では、あるいは荒野では、良質なHPに関してかなりの不確実性があることを論じる。 8つのベンチマーク問題に対して,11種類のDAL手法の性能評価を行った。
• 参考スコア（独自算出の注目度）: 9.722499619824442
• License:
• Abstract: Deep active learning (DAL) methods have shown significant improvements in sample efficiency compared to simple random sampling. While these studies are valuable, they nearly always assume that optimal DAL hyperparameter (HP) settings are known in advance, or optimize the HPs through repeating DAL several times with different HP settings. Here, we argue that in real-world settings, or in the wild, there is significant uncertainty regarding good HPs, and their optimization contradicts the premise of using DAL (i.e., we require labeling efficiency). In this study, we evaluate the performance of eleven modern DAL methods on eight benchmark problems as we vary a key HP shared by all methods: the pool ratio. Despite adjusting only one HP, our results indicate that eight of the eleven DAL methods sometimes underperform relative to simple random sampling and some frequently perform worse. Only three methods always outperform random sampling (albeit narrowly), and we find that these methods all utilize diversity to select samples - a relatively simple criterion. Our findings reveal the limitations of existing DAL methods when deployed in the wild, and present this as an important new open problem in the field.
• Abstract（参考訳）: 深層能動学習(DAL)法は, 単純なランダムサンプリングに比べて, サンプル効率が著しく向上した。 これらの研究は価値があるが、ほとんどの場合、最適なDALハイパーパラメータ(HP)設定が事前に知られていると仮定し、異なるHP設定で何度もDALを繰り返すことでHPを最適化する。 ここでは、実世界の環境では、あるいは野生環境では、良質なHPに対して重大な不確実性があり、それらの最適化は、DALを使用する前提と矛盾する(つまり、ラベルの効率が要求される)。 本研究では,8つのベンチマーク問題に対する11のDAL手法の性能評価を行った。 HP を1 個だけ調整した結果,DAL 法のうち8 個は単純なランダムサンプリングに比べて性能が劣る場合があり,そのうち8 個は性能が悪くなる場合が多いことが示唆された。 3つの方法だけが常にランダムサンプリングを上回り(狭義だが)、これらの手法はすべて標本の選択に多様性を利用する。 本研究は,野生に展開する既存DAL手法の限界を明らかにし,この分野において重要な新しいオープン問題として提示するものである。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• An Empirical Study on the Efficacy of Deep Active Learning for Image Classification [11.398892277968427]
  ディープアクティブラーニング(DAL)は、教師あり学習におけるラベリングコストを削減するための有望な方法として提唱されている。 既存のDAL手法の評価は異なる設定に基づいており、その結果は議論の余地がある。 本稿では,19の既存DAL手法を一様条件で総合的に評価する。
  論文  参考訳（メタデータ） (2022-11-30T17:44:59Z)
• Towards Unsupervised HPO for Outlier Detection [23.77292404327994]
  我々はメタラーニングに基づくHPODと呼ばれる最初の体系的アプローチを提案する。 HPODは、既存のODベンチマークデータセット上でのHPの大規模なコレクションの以前のパフォーマンスを生かしている。 将来性のあるHPを効率的に特定するために、シーケンシャルなモデルベースの最適化(元々は教師付き)を適用する。
  論文  参考訳（メタデータ） (2022-08-24T18:11:22Z)
• Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution [21.130842136324528]
  我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。 我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
  論文  参考訳（メタデータ） (2022-06-15T16:46:00Z)
• A Comparative Survey of Deep Active Learning [76.04825433362709]
  Active Learning (AL)は、ラベル付けのための大きなラベル付けされていないデータプールからデータサンプルを順次選択することで、ラベル付けコストを削減するための一連のテクニックである。 ディープラーニング(DL)はデータハングリーであり、DLモデルのパフォーマンスは、より多くのトレーニングデータとともに単調にスケールする。 近年、Deep Active Learning (DAL) は、高価なラベリングコストを最小化しつつ、モデル性能を最大化するための実現可能なソリューションとして上昇している。
  論文  参考訳（メタデータ） (2022-03-25T05:17:24Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Revisiting the Performance of iALS on Item Recommendation Benchmarks [19.704506591363256]
  行列分解は、暗黙の交互最小二乗(iALS)によって学習され、レコメンデーターシステム研究の出版物で一般的なベースラインである。 近年の研究では、その予測品質が現在の技術と競合していないことが示唆されている。 我々は、iALSが低性能であると報告された4つのよく研究されたベンチマークを再検討し、適切なチューニングを行うことで、iALSは競争力が高いことを示す。
  論文  参考訳（メタデータ） (2021-10-26T21:30:57Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)
• Practical and sample efficient zero-shot HPO [8.41866793161234]
  利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。 1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。 2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
  論文  参考訳（メタデータ） (2020-07-27T08:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。