論文の概要: Generative and reproducible benchmarks for comprehensive evaluation of
machine learning classifiers
- arxiv url: http://arxiv.org/abs/2107.06475v1
- Date: Wed, 14 Jul 2021 03:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-15 14:28:59.550453
- Title: Generative and reproducible benchmarks for comprehensive evaluation of
machine learning classifiers
- Title（参考訳）: 機械学習分類器の総合評価のための生成的および再現可能なベンチマーク
- Authors: Patryk Orzechowski and Jason H. Moore
- Abstract要約: Diverse and GENerative ML Benchmark (DIGEN)は、機械学習アルゴリズムのベンチマークのための合成データセットの集合である。
詳細なドキュメンテーションと分析を備えたリソースはオープンソースであり、GitHubで公開されている。
- 参考スコア（独自算出の注目度）: 6.605210393590192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the strengths and weaknesses of machine learning (ML)
algorithms is crucial for determine their scope of application. Here, we
introduce the DIverse and GENerative ML Benchmark (DIGEN) - a collection of
synthetic datasets for comprehensive, reproducible, and interpretable
benchmarking of machine learning algorithms for classification of binary
outcomes. The DIGEN resource consists of 40 mathematical functions which map
continuous features to discrete endpoints for creating synthetic datasets.
These 40 functions were discovered using a heuristic algorithm designed to
maximize the diversity of performance among multiple popular machine learning
algorithms thus providing a useful test suite for evaluating and comparing new
methods. Access to the generative functions facilitates understanding of why a
method performs poorly compared to other algorithms thus providing ideas for
improvement. The resource with extensive documentation and analyses is
open-source and available on GitHub.
- Abstract（参考訳）: 機械学習(ml)アルゴリズムの強みと弱みを理解することは、その適用範囲を決定する上で重要である。
本稿では,2値結果の分類のための機械学習アルゴリズムの包括的,再現性,解釈可能なベンチマークのための合成データセットの集合であるdigen(diversive and generative ml benchmark)を紹介する。
DIGENリソースは40の数学的関数で構成され、連続した特徴を合成データセットを作成するために個別のエンドポイントにマッピングする。
これらの40の関数は、複数の一般的な機械学習アルゴリズムのパフォーマンスの多様性を最大化するために設計されたヒューリスティックアルゴリズムを用いて発見された。
生成関数へのアクセスは、なぜメソッドが他のアルゴリズムと比較して性能が低いのかを理解するのに役立ち、改善のためのアイデアを提供する。
広範なドキュメンテーションと分析を備えたリソースはオープンソースであり、githubで入手できる。
関連論文リスト
- Retrieval with Learned Similarities [2.729516456192901]
最先端の検索アルゴリズムは、学習された類似点に移行した。
そこで本研究では,Mixture-of-Logits (MoL) を実証的に実現し,多様な検索シナリオにおいて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-07-22T08:19:34Z) - Relation-aware Ensemble Learning for Knowledge Graph Embedding [68.94900786314666]
我々は,既存の手法を関係性に配慮した方法で活用し,アンサンブルを学習することを提案する。
関係認識アンサンブルを用いてこれらのセマンティクスを探索すると、一般的なアンサンブル法よりもはるかに大きな検索空間が得られる。
本稿では,リレーショナルなアンサンブル重みを独立に検索する分割探索合成アルゴリズムRelEns-DSCを提案する。
論文 参考訳（メタデータ） (2023-10-13T07:40:12Z) - Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。
認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。
我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-07-14T03:15:56Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳（メタデータ） (2023-06-21T16:04:03Z) - Performance Evaluation and Comparison of a New Regression Algorithm [4.125187280299247]
新たに提案した回帰アルゴリズムの性能を,従来の4つの機械学習アルゴリズムと比較した。
GitHubリポジトリにソースコードを提供したので、読者は結果の複製を自由にできます。
論文 参考訳（メタデータ） (2023-06-15T13:01:16Z) - Unified Functional Hashing in Automatic Machine Learning [58.77232199682271]
高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。
私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。
ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
論文 参考訳（メタデータ） (2023-02-10T18:50:37Z) - A Framework and Benchmarking Study for Counterfactual Generating Methods
on Tabular Data [0.0]
カウンターファクトな説明は、機械学習の予測を説明する効果的な方法と見なされる。
このような説明を導き出そうとするアルゴリズムは、すでに数十ある。
ベンチマーク研究とフレームワークは、実践者がどのテクニックとビルディングブロックが最も適しているかを決定するのに役立ちます。
論文 参考訳（メタデータ） (2021-07-09T21:06:03Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-09T08:47:58Z) - Functorial Manifold Learning [1.14219428942199]
まず、擬似距離空間を最適化対象にマッピングする関手として多様体学習アルゴリズムを特徴付ける。
次に、この特徴付けを用いて、多様体学習損失関数の洗練された境界を証明し、多様体学習アルゴリズムの階層を構築する。
我々は,この階層の異なるレベルにおける函手として,計量多次元スケーリング,IsoMap,UMAPなど,いくつかの一般的な多様体学習アルゴリズムを表現している。
論文 参考訳（メタデータ） (2020-11-15T02:30:23Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Guidelines for enhancing data locality in selected machine learning
algorithms [0.0]
データ局所性を利用した機械学習アルゴリズムの性能向上手法の1つを分析する。
繰り返しのデータアクセスは、データ移動における冗長性と見なすことができる。
この研究は、結果を直接再利用することによって、これらの冗長性を避けるためのいくつかの機会を特定する。
論文 参考訳（メタデータ） (2020-01-09T14:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。