論文の概要: Understanding the Nature of System-Related Issues in Machine Learning
Frameworks: An Exploratory Study
- arxiv url: http://arxiv.org/abs/2005.06091v1
- Date: Wed, 13 May 2020 00:09:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 13:34:52.575226
- Title: Understanding the Nature of System-Related Issues in Machine Learning
Frameworks: An Exploratory Study
- Title（参考訳）: 機械学習フレームワークにおけるシステム関連問題の性質の理解--探索的研究
- Authors: Yang Ren, Gregory Gay, Christian K\"astner, Pooyan Jamshidi
- Abstract要約: 10の人気のある機械学習フレームワークから実世界のシステム関連問題を分析する。
本研究は,機械学習システムの開発に影響を及ぼすものである。
- 参考スコア（独自算出の注目度）: 10.632755749872237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern systems are built using development frameworks. These frameworks have
a major impact on how the resulting system executes, how configurations are
managed, how it is tested, and how and where it is deployed. Machine learning
(ML) frameworks and the systems developed using them differ greatly from
traditional frameworks. Naturally, the issues that manifest in such frameworks
may differ as well---as may the behavior of developers addressing those issues.
We are interested in characterizing the system-related issues---issues
impacting performance, memory and resource usage, and other quality
attributes---that emerge in ML frameworks, and how they differ from those in
traditional frameworks. We have conducted a moderate-scale exploratory study
analyzing real-world system-related issues from 10 popular machine learning
frameworks. Our findings offer implications for the development of machine
learning systems, including differences in the frequency of occurrence of
certain issue types, observations regarding the impact of debate and time on
issue correction, and differences in the specialization of developers. We hope
that this exploratory study will enable developers to improve their
expectations, plan for risk, and allocate resources accordingly when making use
of the tools provided by these frameworks to develop ML-based systems.
- Abstract（参考訳）: 現代のシステムは開発フレームワークを使って構築されます。
これらのフレームワークは、結果のシステムの実行方法、構成の管理方法、テスト方法、デプロイの方法と場所に大きな影響を与える。
機械学習(ML)フレームワークとそれを用いて開発されたシステムは、従来のフレームワークと大きく異なる。
当然、このようなフレームワークに現れる問題と、その問題に対処する開発者の振る舞いは、相違するかもしれません。
私たちは、パフォーマンス、メモリ、リソース使用、その他の品質属性に影響を与える問題、そして、MLフレームワークに現れる問題、そして従来のフレームワークとどのように異なるか、といった、システム関連の問題を特徴づけることに興味があります。
10の一般的な機械学習フレームワークから実世界のシステム関連問題を中規模で分析した。
本研究は,特定の問題タイプの発生頻度の違い,議論と時間の影響が問題修正に与える影響の観察,開発者の専門化の違いなど,機械学習システムの開発に示唆を与える。
この探索的な研究によって、開発者がmlベースのシステムを開発するためにこれらのフレームワークが提供するツールを利用することで、期待やリスクの計画、リソースの割り当てが可能になります。
関連論文リスト
- A quantitative framework for evaluating architectural patterns in ML systems [49.1574468325115]
本研究では,MLシステムにおけるアーキテクチャパターンの定量的評価のための枠組みを提案する。
コスト効率のよいCPUベースの推論のためのスケーラビリティとパフォーマンスメトリクスに注目します。
論文 参考訳（メタデータ） (2025-01-20T15:30:09Z) - Enhancing Retrieval-Augmented Generation: A Study of Best Practices [16.246719783032436]
我々は,クエリ拡張,新しい検索戦略,新しいコントラシティブ・インコンテクスト学習RAGを取り入れた高度なRAGシステム設計を開発する。
本研究は,言語モデルのサイズ,プロンプトデザイン,文書チャンクサイズ,知識ベースサイズ,検索ストライド,クエリ拡張手法,文レベルでのコンテキスト検索など,重要な要素を体系的に検討する。
本研究は,RAGシステムの開発に有効な知見を提供し,文脈的豊かさと検索・生成効率のバランスを図った。
論文 参考訳（メタデータ） (2025-01-13T15:07:55Z) - Learning vs Retrieval: The Role of In-Context Examples in Regression with Large Language Models [18.983753573277596]
そこで本研究では,内部知識の獲得と学習を併用した,文脈内学習機構の評価フレームワークを提案する。
まず,LLMは実世界の回帰問題を解くことができ,LLMが内部知識を取得する程度を,文脈内から学習する程度に測定する実験を設計することができることを示す。
本稿では,これらのメカニズムが様々な要因によって引き起こされる度合いを詳細に分析する。
論文 参考訳（メタデータ） (2024-09-06T14:46:37Z) - In-Memory Learning: A Declarative Learning Framework for Large Language
Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。
このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。
フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文 参考訳（メタデータ） (2024-03-05T08:25:11Z) - A Domain-Agnostic Approach for Characterization of Lifelong Learning
Systems [128.63953314853327]
「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。
この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
論文 参考訳（メタデータ） (2023-01-18T21:58:54Z) - ComplAI: Theory of A Unified Framework for Multi-factor Assessment of
Black-Box Supervised Machine Learning Models [6.279863832853343]
ComplAIは、説明可能性、堅牢性、パフォーマンス、公正性、モデル行動を有効にし、観察し、分析し、定量化するユニークなフレームワークである。
教師付き機械学習モデルの評価は、正しい予測を行う能力だけでなく、全体的な責任の観点から行う。
論文 参考訳（メタデータ） (2022-12-30T08:48:19Z) - Learned Systems Security [30.39158287782567]
学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。
このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。
MLの使用に起因した脆弱性を識別するフレームワークを開発する。
論文 参考訳（メタデータ） (2022-12-20T15:09:30Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳（メタデータ） (2021-07-28T10:28:05Z) - Characterizing and Detecting Mismatch in Machine-Learning-Enabled
Systems [1.4695979686066065]
機械学習システムの開発と展開は依然として課題だ。
本論文では,エンドツーエンドのML対応システム開発における知見とその意義について報告する。
論文 参考訳（メタデータ） (2021-03-25T19:40:29Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳（メタデータ） (2021-01-11T15:54:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。