論文の概要: A critical look at the current train/test split in machine learning
- arxiv url: http://arxiv.org/abs/2106.04525v1
- Date: Tue, 8 Jun 2021 17:07:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-09 16:14:20.028223
- Title: A critical look at the current train/test split in machine learning
- Title（参考訳）: 機械学習における現在の列車/テスト分割の批判的考察
- Authors: Jimin Tan, Jianan Yang, Sai Wu, Gang Chen, Jake Zhao (Junbo)
- Abstract要約: 分割プロトコル自体を詳しく見て、その弱点と制限を指摘します。
多くの実世界の問題では、仮定(ii)が成立しない状況が多数あることを認めなければならない。
適応ポリシーを含む適応型能動学習アーキテクチャ(AAL)を提案する。
- 参考スコア（独自算出の注目度）: 6.475859946760842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The randomized or cross-validated split of training and testing sets has been
adopted as the gold standard of machine learning for decades. The establishment
of these split protocols are based on two assumptions: (i)-fixing the dataset
to be eternally static so we could evaluate different machine learning
algorithms or models; (ii)-there is a complete set of annotated data available
to researchers or industrial practitioners. However, in this article, we intend
to take a closer and critical look at the split protocol itself and point out
its weakness and limitation, especially for industrial applications. In many
real-world problems, we must acknowledge that there are numerous situations
where assumption (ii) does not hold. For instance, for interdisciplinary
applications like drug discovery, it often requires real lab experiments to
annotate data which poses huge costs in both time and financial considerations.
In other words, it can be very difficult or even impossible to satisfy
assumption (ii). In this article, we intend to access this problem and
reiterate the paradigm of active learning, and investigate its potential on
solving problems under unconventional train/test split protocols. We further
propose a new adaptive active learning architecture (AAL) which involves an
adaptation policy, in comparison with the traditional active learning that only
unidirectionally adds data points to the training pool. We primarily justify
our points by extensively investigating an interdisciplinary drug-protein
binding problem. We additionally evaluate AAL on more conventional machine
learning benchmarking datasets like CIFAR-10 to demonstrate the
generalizability and efficacy of the new framework.
- Abstract（参考訳）: ランダム化またはクロスバリデーションされたトレーニングセットとテストセットは、数十年にわたって機械学習のゴールドスタンダードとして採用されてきた。
i) データセットを永久に静的に固定することで、異なる機械学習アルゴリズムやモデルを評価することができる; (ii) 研究者や産業従事者が利用できる注釈付きデータの完全なセットがある。
しかし、本稿では、スプリットプロトコル自体について、より綿密かつ批判的な考察を行い、特に産業アプリケーションにおいて、その弱点と限界を指摘したいと思います。
実世界の多くの問題では、仮定(ii)が成立しない状況が数多く存在することを認識しなければならない。
例えば、創薬のような学際的な応用では、時間と財政の両面で大きなコストをもたらすデータに注釈を付けるために、実際の実験が必要となることが多い。
言い換えれば、仮定(ii)を満足させることは非常に困難または不可能である。
本稿では,この課題に対処し,アクティブラーニングのパラダイムを再検討し,従来の列車/テスト分割プロトコルによる問題解決の可能性について検討する。
さらに,学習プールにデータポイントを一方向的に付加する従来のアクティブラーニングと比較し,適応ポリシーを含む新しい適応型アクティブラーニングアーキテクチャ(aal)を提案する。
我々は主に、学際的な薬物-タンパク質結合問題を広範囲に研究することで、ポイントを正当化する。
さらに、CIFAR-10のような従来の機械学習ベンチマークデータセット上でAALを評価し、新しいフレームワークの一般化性と有効性を示す。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳（メタデータ） (2024-11-20T04:21:07Z) - Towards Understanding the Feasibility of Machine Unlearning [14.177012256360635]
未学習の難易度を定量化するための新しい指標のセットを提案する。
具体的には,学習を成功させるのに必要な条件を評価するために,いくつかの指標を提案する。
また、最も難解なサンプルを特定するためのランキング機構も提示する。
論文 参考訳（メタデータ） (2024-10-03T23:41:42Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - TESSERACT: Eliminating Experimental Bias in Malware Classification
across Space and Time (Extended Version) [18.146377453918724]
マルウェア検知器は、常に進化するオペレーティングシステムや攻撃方法によって、しばしば性能劣化を経験する。
本論文は, 検出作業における2つの実験バイアス源により, 一般的に報告される結果が膨らんでいることを論じる。
論文 参考訳（メタデータ） (2024-02-02T12:27:32Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳（メタデータ） (2024-01-29T18:27:52Z) - Multivariate Time Series Anomaly Detection: Fancy Algorithms and Flawed
Evaluation Methodology [2.043517674271996]
本稿では、MVTS異常検出の文脈において、正常によいプロトコルが弱点を持つ可能性について論じる。
本稿では,PCA(Principal Components Analysis)に基づくシンプルな,かつ難しいベースラインを提案する。このベースラインは,最近のDeep Learning(DL)ベースのアプローチにおいて,一般的なベンチマークデータセットよりも驚くほど優れています。
論文 参考訳（メタデータ） (2023-08-24T20:24:12Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳（メタデータ） (2023-07-07T03:07:26Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z) - Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。
これは私たちの最良の知識の一般的な評価の最初の定義です。
論文 参考訳（メタデータ） (2022-08-23T09:37:31Z) - Just Label What You Need: Fine-Grained Active Selection for Perception
and Prediction through Partially Labeled Scenes [78.23907801786827]
提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。
実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
論文 参考訳（メタデータ） (2021-04-08T17:57:41Z) - A survey on domain adaptation theory: learning bounds and theoretical
guarantees [17.71634393160982]
この調査の主な目的は、特定の、そして間違いなく最も人気のある、移動学習のサブフィールドにおける最先端の理論的結果の概要を提供することである。
このサブフィールドでは、学習タスクは同じままで、トレーニングとテストデータの間でデータ分布が変化すると仮定される。
本稿では、ドメイン適応問題に関連する既存の結果の最新の記述について述べる。
論文 参考訳（メタデータ） (2020-04-24T16:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。