論文の概要: MLPro: A System for Hosting Crowdsourced Machine Learning Challenges for
Open-Ended Research Problems
- arxiv url: http://arxiv.org/abs/2204.01216v1
- Date: Mon, 4 Apr 2022 02:56:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 03:11:07.392156
- Title: MLPro: A System for Hosting Crowdsourced Machine Learning Challenges for
Open-Ended Research Problems
- Title（参考訳）: MLPro:オープンな研究課題のためのクラウドソーシング機械学習チャレンジをホストするシステム
- Authors: Peter Washington, Aayush Nandkeolyar, Sam Yang
- Abstract要約: 我々は,オープンエンドMLコーディング問題の概念とオンラインコードの自動判定プラットフォームの概念を組み合わせるシステムを開発した。
十分に制約のない複雑な問題に対して、多くの専門家が同様の解決策を提出するが、一部の専門家は「典型的な」解クラスよりも優れた独自のソリューションを提供している。
- 参考スコア（独自算出の注目度）: 1.3254304182988286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The task of developing a machine learning (ML) model for a particular problem
is inherently open-ended, and there is an unbounded set of possible solutions.
Steps of the ML development pipeline, such as feature engineering, loss
function specification, data imputation, and dimensionality reduction, require
the engineer to consider an extensive and often infinite array of
possibilities. Successfully identifying high-performing solutions for an
unfamiliar dataset or problem requires a mix of mathematical prowess and
creativity applied towards inventing and repurposing novel ML methods. Here, we
explore the feasibility of hosting crowdsourced ML challenges to facilitate a
breadth-first exploration of open-ended research problems, thereby expanding
the search space of problem solutions beyond what a typical ML team could
viably investigate. We develop MLPro, a system which combines the notion of
open-ended ML coding problems with the concept of an automatic online code
judging platform. To conduct a pilot evaluation of this paradigm, we
crowdsource several open-ended ML challenges to ML and data science
practitioners. We describe results from two separate challenges. We find that
for sufficiently unconstrained and complex problems, many experts submit
similar solutions, but some experts provide unique solutions which outperform
the "typical" solution class. We suggest that automated expert crowdsourcing
systems such as MLPro have the potential to accelerate ML engineering
creativity.
- Abstract（参考訳）: 特定の問題に対する機械学習(ML)モデルを開発するタスクは本質的にオープンエンドであり、無制限のソリューションセットが存在する。
ml開発パイプラインのステップには、機能工学、損失関数仕様、データインプテーション、次元の削減などがあり、エンジニアは広範囲でしばしば無限の可能性を考慮しなければならない。
不慣れなデータセットや問題に対するハイパフォーマンスなソリューションをうまく識別するには、新しいMLメソッドの発明と再開発に応用される数学の長所と創造性の混合が必要である。
本稿では,クラウドソーシングによるml課題のホスティングの実現可能性について検討し,オープンエンドな研究課題を広く探求し,一般的なmlチームが実際に調査できる範囲を超えて問題解決の探索領域を拡大する。
オープンエンドのmlコーディング問題の概念と自動オンラインコード判定プラットフォームの概念を組み合わせたシステムであるmlproを開発した。
このパラダイムのパイロット評価を行うため、MLやデータサイエンスの実践者にオープンソースのML課題をクラウドソーシングする。
2つの異なる課題の結果を説明する。
十分に制約のない複雑な問題に対して、多くの専門家が同様の解決策を提出するが、一部の専門家は「典型的」解クラスよりも優れた独自のソリューションを提供している。
MLProのような自動化された専門家のクラウドソーシングシステムは、MLエンジニアリングの創造性を加速する可能性があることを示唆する。
関連論文リスト
- ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。
ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。
2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。
GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
論文 参考訳（メタデータ） (2024-10-06T14:59:09Z) - Matching Problems to Solutions: An Explainable Way of Solving Machine Learning Problems [1.7368964547487398]
あらゆる分野のドメインエキスパートは、データサイエンティストと協力して、問題を解決するためのML技術の使用を探求するよう求められます。
本稿では,1)ドメイン問題,ML問題,および主要MLソリューション成果物の表現,2)ドメイン問題に最も適したMLアルゴリズムファミリの識別を支援するマッチング機能について述べる。
論文 参考訳（メタデータ） (2024-06-21T21:39:34Z) - MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。
我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。
我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
論文 参考訳（メタデータ） (2023-11-16T08:52:27Z) - MLCopilot: Unleashing the Power of Large Language Models in Solving
Machine Learning Tasks [31.733088105662876]
我々は、新しいフレームワークを導入することで、機械学習と人間の知識のギャップを埋めることを目指している。
本稿では、構造化された入力を理解するためのLLMの能力を拡張し、新しいMLタスクを解くための徹底的な推論を行う可能性を示す。
論文 参考訳（メタデータ） (2023-04-28T17:03:57Z) - Tiny Robot Learning: Challenges and Directions for Machine Learning in
Resource-Constrained Robots [57.27442333662654]
機械学習(ML)は、コンピュータシステムにまたがる普及したツールとなっている。
ティニー・ロボット・ラーニング(Tiny Robot Learning)とは、リソースに制約された低コストの自律ロボットにMLを配置する手法である。
小型ロボット学習は、サイズ、重量、面積、パワー(SWAP)の制約によって困難にさらされる。
本稿では,小型ロボットの学習空間を簡潔に調査し,重要な課題を詳述し,MLシステム設計における将来的な仕事の機会を提案する。
論文 参考訳（メタデータ） (2022-05-11T19:36:15Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - White Paper Machine Learning in Certified Systems [70.24215483154184]
DEEL Project set-up the ML Certification 3 Workgroup (WG) set-up by the Institut de Recherche Technologique Saint Exup'ery de Toulouse (IRT)
論文 参考訳（メタデータ） (2021-03-18T21:14:30Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z) - A Software Engineering Perspective on Engineering Machine Learning
Systems: State of the Art and Challenges [0.0]
機械学習(ML)の進歩は、アルゴリズムが人間によってハードコードされる従来のソフトウェア開発の視点から、データから学習することで実現されたMLシステムへとシフトする。
ソフトウェアシステムの開発方法を再考し、これらの新しいタイプのシステムに必要な特質を考慮する必要があります。
論文 参考訳（メタデータ） (2020-12-14T20:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。