論文の概要: Active Learning with Expected Error Reduction

• arxiv url: http://arxiv.org/abs/2211.09283v1
• Date: Thu, 17 Nov 2022 01:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 16:45:46.768614
• Title: Active Learning with Expected Error Reduction
• Title（参考訳）: エラー低減を期待するアクティブラーニング
• Authors: Stephen Mussmann, Julia Reisler, Daniel Tsai, Ehsan Mousavi, Shayne O'Brien, Moises Goldszmidt
• Abstract要約: 期待される誤り低減(EER)は,能動的学習に有効な方法であることが示されている。 EERは、モデルを候補サンプル毎に再トレーニングする必要がある。 本稿ではベイジアンアクティブラーニングのレンズの下でEERを再構成する。
• 参考スコア（独自算出の注目度）: 4.506537904404427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning has been studied extensively as a method for efficient data collection. Among the many approaches in literature, Expected Error Reduction (EER) (Roy and McCallum) has been shown to be an effective method for active learning: select the candidate sample that, in expectation, maximally decreases the error on an unlabeled set. However, EER requires the model to be retrained for every candidate sample and thus has not been widely used for modern deep neural networks due to this large computational cost. In this paper we reformulate EER under the lens of Bayesian active learning and derive a computationally efficient version that can use any Bayesian parameter sampling method (such as arXiv:1506.02142). We then compare the empirical performance of our method using Monte Carlo dropout for parameter sampling against state of the art methods in the deep active learning literature. Experiments are performed on four standard benchmark datasets and three WILDS datasets (arXiv:2012.07421). The results indicate that our method outperforms all other methods except one in the data shift scenario: a model dependent, non-information theoretic method that requires an order of magnitude higher computational cost (arXiv:1906.03671).
• Abstract（参考訳）: 能動学習は効率的なデータ収集手法として広く研究されてきた。 文献における多くのアプローチの中で、期待誤差削減(EER) (Roy and McCallum) はアクティブラーニングに有効な方法であることが示されている。 しかし、eerは全ての候補サンプルに対してモデルを再トレーニングする必要があるため、この大きな計算コストのため、現代のディープニューラルネットワークでは広く使われていない。 本稿では,eerをベイズアクティブラーニングのレンズで再構成し,任意のベイズパラメータサンプリング法(arxiv:1506.02142 など)を用いた計算効率の高いバージョンを導出する。 そこで本研究では,モンテカルロドロップアウト法を用いて,深層アクティブラーニング文献における手法状態に対するパラメータサンプリングを行い,実験結果と比較した。 4つの標準ベンチマークデータセットと3つのWILDSデータセット(arXiv:2012.07421)で実験が行われる。 その結果,本手法はデータシフトシナリオにおける他の手法よりも優れており,計算コストが桁違いに高いモデル依存非情報理論法(arXiv:1906.03671)であることがわかった。

関連論文リスト

• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• EPEM: Efficient Parameter Estimation for Multiple Class Monotone Missing Data [3.801859210248944]
  本稿では,複数のクラス,モノトン欠落データセットの最大推定値(MLE)を計算するための新しいアルゴリズムを提案する。 計算が正確であるので、我々のEPEMアルゴリズムは、他の計算法と同様に、データを通して複数のイテレーションを必要としない。
  論文  参考訳（メタデータ） (2020-09-23T20:07:53Z)
• Active Learning for Gaussian Process Considering Uncertainties with Application to Shape Control of Composite Fuselage [7.358477502214471]
  ガウス過程に不確実性のある2つの新しい能動学習アルゴリズムを提案する。 提案手法は不確実性の影響を取り入れ,予測性能の向上を実現する。 本手法は, 複合胴体の自動形状制御における予測モデルの改善に応用されている。
  論文  参考訳（メタデータ） (2020-04-23T02:04:53Z)
• Monotonic Cardinality Estimation of Similarity Selection: A Deep Learning Approach [22.958342743597044]
  類似度選択の基数推定にディープラーニングを活用する可能性について検討する。 本稿では,任意のデータ型や距離関数に適用可能な,新規で汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2020-02-15T20:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。