論文の概要: Standardized Evaluation of Machine Learning Methods for Evolving Data Streams

• arxiv url: http://arxiv.org/abs/2204.13625v1
• Date: Thu, 28 Apr 2022 16:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 12:45:53.463046
• Title: Standardized Evaluation of Machine Learning Methods for Evolving Data Streams
• Title（参考訳）: データストリーム進化のための機械学習手法の標準化評価
• Authors: Johannes Haug, Effi Tramountani, Gjergji Kasneci
• Abstract要約: 進化するデータストリームにおいて、高品質な機械学習のための包括的な特性セットを提案する。 本稿では,オンライン予測モデル,オンライン特徴選択,コンセプトドリフト検出のための適切な評価手法と評価戦略について論じる。 提案された評価標準は、floatと呼ばれる新しいPythonフレームワークで提供されている。
• 参考スコア（独自算出の注目度）: 11.17545155325116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the unspecified and dynamic nature of data streams, online machine learning requires powerful and flexible solutions. However, evaluating online machine learning methods under realistic conditions is difficult. Existing work therefore often draws on different heuristics and simulations that do not necessarily produce meaningful and reliable results. Indeed, in the absence of common evaluation standards, it often remains unclear how online learning methods will perform in practice or in comparison to similar work. In this paper, we propose a comprehensive set of properties for high-quality machine learning in evolving data streams. In particular, we discuss sensible performance measures and evaluation strategies for online predictive modelling, online feature selection and concept drift detection. As one of the first works, we also look at the interpretability of online learning methods. The proposed evaluation standards are provided in a new Python framework called float. Float is completely modular and allows the simultaneous integration of common libraries, such as scikit-multiflow or river, with custom code. Float is open-sourced and can be accessed at https://github.com/haugjo/float. In this sense, we hope that our work will contribute to more standardized, reliable and realistic testing and comparison of online machine learning methods.
• Abstract（参考訳）: データストリームの明確でダイナミックな性質のため、オンライン機械学習には強力で柔軟なソリューションが必要だ。 しかし,実環境下でのオンライン機械学習手法の評価は困難である。 したがって、既存の作品は、必ずしも有意義で信頼性の高い結果を生み出すとは限らない異なるヒューリスティックやシミュレーションを描いていることが多い。 実際、一般的な評価基準が欠如しているため、オンライン学習手法が実際にどのように機能するか、あるいは類似の作業との比較でどのように機能するかは不明のままであることが多い。 本稿では,進化するデータストリームにおける高品質機械学習のための総合的な特性セットを提案する。 特に,オンライン予測モデル,オンライン特徴選択,コンセプトドリフト検出において,適切なパフォーマンス対策と評価戦略について論じる。 最初の研究として、オンライン学習手法の解釈可能性についても検討する。 提案された評価基準は、floatと呼ばれる新しいpythonフレームワークで提供されている。 Floatは完全にモジュール化されており、Scikit-multiflowやRiverといった共通ライブラリとカスタムコードとの同時統合を可能にする。 floatはオープンソースで、https://github.com/haugjo/floatからアクセスできる。 この意味で、我々の研究がより標準化され、信頼性が高く、現実的なテストやオンライン機械学習手法の比較に貢献することを願っている。

関連論文リスト

• A Comprehensive Empirical Evaluation on Online Continual Learning [20.39495058720296]
  オンライン連続学習に取り組む文献から手法を評価する。 画像分類の文脈におけるクラスインクリメンタル設定に焦点をあてる。 これらの手法をSplit-CIFAR100とSplit-TinyImagenetベンチマークで比較する。
  論文  参考訳（メタデータ） (2023-08-20T17:52:02Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Improving Behavioural Cloning with Positive Unlabeled Learning [15.484227081812852]
  本稿では,混合品質のロボットデータセットにおける専門家の軌跡を特定するための,新しい反復学習アルゴリズムを提案する。 結果のフィルタデータセットに行動クローンを適用することで、競合するオフライン強化学習と模倣学習ベースラインを上回っます。
  論文  参考訳（メタデータ） (2023-01-27T14:17:45Z)
• Towards Data-Driven Offline Simulations for Online Reinforcement Learning [30.654163861164864]
  強化学習のためのオフライン学習者シミュレーション(OLS)を形式化する。 シミュレーションの忠実度と効率を両立させる新しい評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-11-14T18:36:13Z)
• Online vs. Offline Adaptive Domain Randomization Benchmark [20.69035879843824]
  オフラインとオンラインの両方の手法(SimOpt、BayRn、DROID、DROPO)のオープンなベンチマークを行い、各設定やタスクに最も適しているものを列挙する。 オンライン手法は次のイテレーションで学習したポリシーの品質によって制限されているのに対し,オフライン手法はオープンループコマンドによるシミュレーションでトラジェクトリを再生する際に失敗することがあることがわかった。
  論文  参考訳（メタデータ） (2022-06-29T14:03:53Z)
• Passive learning to address nonstationarity in virtual flow metering applications [0.0]
  本稿では,定常仮想フローメータの予測精度を維持するために,学習手法の適用方法について検討する。 周期的バッチ学習とオンライン学習という2つの受動的学習法を、様々なキャリブレーション周波数で応用し、仮想フローメーターを訓練する。 第1に、頻繁な到着測定が存在する場合、頻繁なモデル更新は、時間とともに優れた予測性能を保ち、第2に、間欠的かつ頻繁な到着測定が存在する場合、頻繁な更新は、性能の精度を高めるために不可欠である。
  論文  参考訳（メタデータ） (2022-02-07T14:42:00Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。