論文の概要: Benchopt: Reproducible, efficient and collaborative optimization
benchmarks
- arxiv url: http://arxiv.org/abs/2206.13424v2
- Date: Tue, 28 Jun 2022 09:02:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 23:48:29.400914
- Title: Benchopt: Reproducible, efficient and collaborative optimization
benchmarks
- Title(参考訳): Benchopt: 再現可能、効率的、協調的な最適化ベンチマーク
- Authors: Thomas Moreau, Mathurin Massias, Alexandre Gramfort, Pierre Ablin,
Pierre-Antoine Bannier, Benjamin Charlier, Mathieu Dagr\'eou, Tom Dupr\'e la
Tour, Ghislain Durif, Cassio F. Dantas, Quentin Klopfenstein, Johan Larsson,
En Lai, Tanguy Lefort, Benoit Mal\'ezieux, Badr Moufad, Binh T. Nguyen, Alain
Rakotomamonjy, Zaccharie Ramzi, Joseph Salmon, Samuel Vaiter
- Abstract要約: Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
- 参考スコア(独自算出の注目度): 67.29240500171532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Numerical validation is at the core of machine learning research as it allows
to assess the actual impact of new methods, and to confirm the agreement
between theory and practice. Yet, the rapid development of the field poses
several challenges: researchers are confronted with a profusion of methods to
compare, limited transparency and consensus on best practices, as well as
tedious re-implementation work. As a result, validation is often very partial,
which can lead to wrong conclusions that slow down the progress of research. We
propose Benchopt, a collaborative framework to automate, reproduce and publish
optimization benchmarks in machine learning across programming languages and
hardware architectures. Benchopt simplifies benchmarking for the community by
providing an off-the-shelf tool for running, sharing and extending experiments.
To demonstrate its broad usability, we showcase benchmarks on three standard
learning tasks: $\ell_2$-regularized logistic regression, Lasso, and ResNet18
training for image classification. These benchmarks highlight key practical
findings that give a more nuanced view of the state-of-the-art for these
problems, showing that for practical evaluation, the devil is in the details.
We hope that Benchopt will foster collaborative work in the community hence
improving the reproducibility of research findings.
- Abstract(参考訳): 数値検証は、新しい手法の実際の影響を評価し、理論と実践の一致を確認することを可能にするため、機械学習研究の中核である。
しかし、この分野の急速な発展にはいくつかの課題がある。研究者は、ベストプラクティスに関する透明性とコンセンサスを限定する手法と、退屈な再実装作業に直面する。
その結果、検証は非常に部分的であることが多く、研究の進行を遅らせる間違った結論につながる可能性がある。
プログラミング言語とハードウェアアーキテクチャをまたいだ機械学習における最適化ベンチマークを自動化し、再現し、公開するための協調フレームワークであるbenchoptを提案する。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
幅広いユーザビリティを示すために、イメージ分類のための$\ell_2$-regularized logistic regression、Lasso、ResNet18トレーニングの3つの標準学習タスクのベンチマークを示す。
これらのベンチマークは、これらの問題の最先端をより微妙に見るための重要な実践的な発見を浮き彫りにし、実際的な評価のために、悪魔が細部にあることを示す。
研究成果の再現性を向上させるため、コミュニティにおける共同作業の促進を期待する。
関連論文リスト
- Re-Benchmarking Pool-Based Active Learning for Binary Classification [27.034593234956713]
アクティブラーニング(英: Active Learning)は、ラベル付きデータを取得する際の機械学習モデルの性能を大幅に向上させるパラダイムである。
アクティブな学習戦略を評価するためのベンチマークはいくつか存在するが、それらの発見はいくつかの誤解を示している。
この不一致は、コミュニティのために透明で再現可能なベンチマークを開発する動機となります。
論文 参考訳(メタデータ) (2023-06-15T08:47:50Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳(メタデータ) (2022-11-15T18:57:46Z) - Planning for Sample Efficient Imitation Learning [52.44953015011569]
現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。
本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。
実験結果から,EIは性能と試料効率の両立を図った。
論文 参考訳(メタデータ) (2022-10-18T05:19:26Z) - Few-Shot Image Classification Benchmarks are Too Far From Reality: Build
Back Better with Semantic Task Sampling [4.855663359344748]
デンマークのFungi 2020データセットを用いたFew-Shot画像分類のための新しいベンチマークを提案する。
本ベンチマークでは,様々な微粒度を用いた多種多様な評価課題を提案する。
本実験は,タスクの難易度とクラス間の意味的類似度との間に相関関係を生じさせる。
論文 参考訳(メタデータ) (2022-05-10T20:25:43Z) - A Practical Contrastive Learning Framework for Single-Image
Super-Resolution [51.422185656787285]
コントラスト学習に基づく単一画像の超解像を2つの視点から検討する。
SISR のための実践的コントラスト学習フレームワーク PCL-SR を提案する。
既存のベンチマーク手法と比較して,提案手法をPCL-SRフレームワークで再学習し,優れた性能を実現する。
論文 参考訳(メタデータ) (2021-11-27T15:42:12Z) - Sample Efficient Imitation Learning via Reward Function Trained in
Advance [2.66512000865131]
イミテーションラーニング(IL)は、実証から専門家の行動を模倣することを学ぶフレームワークである。
本稿では,逆強化学習の新たな手法を導入することで,サンプル効率の向上に尽力する。
論文 参考訳(メタデータ) (2021-11-23T08:06:09Z) - Building an Efficient and Effective Retrieval-based Dialogue System via
Mutual Learning [27.04857039060308]
検索システムを構築するために,両世界の長所を組み合わせることを提案する。
従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。
我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
論文 参考訳(メタデータ) (2021-10-01T01:32:33Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。
パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。
適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
論文 参考訳(メタデータ) (2020-03-03T15:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。