論文の概要: How Much Data Analytics is Enough? The ROI of Machine Learning
Classification and its Application to Requirements Dependency Classification
- arxiv url: http://arxiv.org/abs/2109.14097v1
- Date: Tue, 28 Sep 2021 23:27:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 01:44:16.913871
- Title: How Much Data Analytics is Enough? The ROI of Machine Learning
Classification and its Application to Requirements Dependency Classification
- Title（参考訳）: データ分析はいくらで十分か?
機械学習分類のROIとその要件依存分類への応用
- Authors: Gouri Deshpande, Guenther Ruhe, Chad Saunders
- Abstract要約: 機械学習は組織の効率性と効率を大幅に改善する。
しかし,ML手法の選択と実装はほとんど精度基準に依存している。
本研究は、投資の見返りに応じて精度基準を引き上げることにより、このギャップに対処するアプローチの成果を示す。
- 参考スコア（独自算出の注目度）: 5.195942130196466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Learning (ML) can substantially improve the efficiency and
effectiveness of organizations and is widely used for different purposes within
Software Engineering. However, the selection and implementation of ML
techniques rely almost exclusively on accuracy criteria. Thus, for
organizations wishing to realize the benefits of ML investments, this narrow
approach ignores crucial considerations around the anticipated costs of the ML
activities across the ML lifecycle, while failing to account for the benefits
that are likely to accrue from the proposed activity. We present findings for
an approach that addresses this gap by enhancing the accuracy criterion with
return on investment (ROI) considerations. Specifically, we analyze the
performance of the two state-of-the-art ML techniques: Random Forest and
Bidirectional Encoder Representations from Transformers (BERT), based on
accuracy and ROI for two publicly available data sets. Specifically, we compare
decision-making on requirements dependency extraction (i) exclusively based on
accuracy and (ii) extended to include ROI analysis. As a result, we propose
recommendations for selecting ML classification techniques based on the degree
of training data used. Our findings indicate that considering ROI as additional
criteria can drastically influence ML selection when compared to decisions
based on accuracy as the sole criterion
- Abstract（参考訳）: 機械学習(ML)は組織の効率性と効率を大幅に改善し、ソフトウェア工学におけるさまざまな目的のために広く利用されている。
しかし,ML手法の選択と実装はほとんど精度基準に依存している。
したがって、ML投資のメリットを実現したい組織にとって、この狭いアプローチは、MLライフサイクル全体にわたるML活動の予想されるコストに関する決定的な考慮を無視し、提案された活動から生じる可能性のあるメリットを考慮に入れていない。
本稿では、投資収益率(ROI)を考慮した精度基準を向上することにより、このギャップに対処するアプローチの成果を示す。
具体的には、2つの公開データセットの精度とROIに基づいて、ランダムフォレストと双方向エンコーダ表現(BERT)の2つの最先端ML技術の性能を分析する。
具体的には,要求依存抽出における意思決定の比較を行う。
(i)精度と精度のみに基づく
(ii)ROI分析を含むように拡張した。
その結果,使用したトレーニングデータの度合いに基づいて,ML分類手法を選択するための推奨事項を提案する。
以上の結果から, ROIを追加基準として考えると, 精度に基づく決定を唯一の基準とする決定と比較すると, ML選択に大きく影響を与える可能性が示唆された。
関連論文リスト
- EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - AROhI: An Interactive Tool for Estimating ROI of Data Analytics [0.0]
データ分析を行う場合、Return On Investmentを検討することが重要です。
この作業では、実証のための従来の高度なMLアプローチを提供する包括的なツールについて詳述する。
論文 参考訳（メタデータ） (2024-07-18T18:19:17Z) - A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。
軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。
本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
論文 参考訳（メタデータ） (2024-06-25T07:45:00Z) - The Economic Implications of Large Language Model Selection on Earnings and Return on Investment: A Decision Theoretic Model [0.0]
我々は、異なる言語モデルによる金銭的影響を比較するために、決定論的アプローチを用いる。
この研究は、より高価なモデルの優れた精度が、特定の条件下でどのようにしてより大きな投資を正当化できるかを明らかにしている。
この記事では、テクノロジの選択を最適化しようとしている企業のためのフレームワークを提供する。
論文 参考訳（メタデータ） (2024-05-27T20:08:41Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳（メタデータ） (2023-04-28T10:27:38Z) - On Taking Advantage of Opportunistic Meta-knowledge to Reduce
Configuration Spaces for Automated Machine Learning [11.670797168818773]
主要な研究課題は、パフォーマンスの悪いMLパイプラインのコスト評価を事前に回避できるかどうかである。
AutoWeka4MCPSパッケージによる多くの実験は、オポチュニティ/システムメタ知識がMLの結果を改善することを示唆している。
我々は、データセットの「チャレンジ」に対する強い感度、すなわち、予測子の選択における特異性によってパフォーマンスが著しく向上するかどうかを観察する。
論文 参考訳（メタデータ） (2022-08-08T19:22:24Z) - Filter Methods for Feature Selection in Supervised Machine Learning
Applications -- Review and Benchmark [0.0]
本稿では,特徴選択ベンチマークに関する文献を合成し,広く使用されているR環境における58の手法の性能評価を行う。
MLモデルでは難しい4つの典型的なデータセットシナリオについて検討する。
論文 参考訳（メタデータ） (2021-11-23T20:20:24Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z) - Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。
このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
論文 参考訳（メタデータ） (2021-01-15T03:12:29Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳（メタデータ） (2020-08-10T06:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。