論文の概要: The More the Merrier? Navigating Accuracy vs. Energy Efficiency Design Trade-Offs in Ensemble Learning Systems

• arxiv url: http://arxiv.org/abs/2407.02914v1
• Date: Wed, 3 Jul 2024 08:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:05:39.410975
• Title: The More the Merrier? Navigating Accuracy vs. Energy Efficiency Design Trade-Offs in Ensemble Learning Systems
• Title（参考訳）: マーリエの増大 : エンサンブルラーニングシステムにおける精度とエネルギー効率設計のトレードオフ
• Authors: Rafiullah Omar, Justus Bogner, Henry Muccini, Patricia Lago, Silverio Martínez-Fernández, Xavier Franch,
• Abstract要約: 我々は,精度とエネルギー消費のトレードオフの可能性について,アンサンブル学習のための3種類の設計判断を分析した。 我々はJの精度(F1スコア)とエネルギー消費(トレーニングと推論の両方)を測定した。 私たちは、サブセットベースのトレーニング、多数決投票、決定木、ネイブベイズ、KNNのようなエネルギー効率の良いMLアルゴリズムを使用して、小さな(最大3モデルまたは2モデル)アンサンブルを設計することを推奨します。
• 参考スコア（独自算出の注目度）: 13.462625365349663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Machine learning (ML) model composition is a popular technique to mitigate shortcomings of a single ML model and to design more effective ML-enabled systems. While ensemble learning, i.e., forwarding the same request to several models and fusing their predictions, has been studied extensively for accuracy, we have insufficient knowledge about how to design energy-efficient ensembles. Objective: We therefore analyzed three types of design decisions for ensemble learning regarding a potential trade-off between accuracy and energy consumption: a) ensemble size, i.e., the number of models in the ensemble, b) fusion methods (majority voting vs. a meta-model), and c) partitioning methods (whole-dataset vs. subset-based training). Methods: By combining four popular ML algorithms for classification in different ensembles, we conducted a full factorial experiment with 11 ensembles x 4 datasets x 2 fusion methods x 2 partitioning methods (176 combinations). For each combination, we measured accuracy (F1-score) and energy consumption in J (for both training and inference). Results: While a larger ensemble size significantly increased energy consumption (size 2 ensembles consumed 37.49% less energy than size 3 ensembles, which in turn consumed 26.96% less energy than the size 4 ensembles), it did not significantly increase accuracy. Furthermore, majority voting outperformed meta-model fusion both in terms of accuracy (Cohen's d of 0.38) and energy consumption (Cohen's d of 0.92). Lastly, subset-based training led to significantly lower energy consumption (Cohen's d of 0.91), while training on the whole dataset did not increase accuracy significantly. Conclusions: From a Green AI perspective, we recommend designing ensembles of small size (2 or maximum 3 models), using subset-based training, majority voting, and energy-efficient ML algorithms like decision trees, Naive Bayes, or KNN.
• Abstract（参考訳）: 背景: 機械学習(ML)モデル構成は、単一のMLモデルの欠点を緩和し、より効果的なML対応システムを設計するための一般的なテクニックである。 アンサンブル学習、すなわち、同じ要求を複数のモデルに転送し、それらの予測を融合させることは、正確さのために広く研究されているが、エネルギー効率の良いアンサンブルの設計方法に関する知識は不十分である。 目的:我々は,正確さとエネルギー消費のトレードオフの可能性について,学習の合理化に関する3つの設計判断を分析した。 a)アンサンブルサイズ、すなわちアンサンブル内のモデルの数 ロ 融合方法(大票対メタモデル)及び c)パーティショニング方法(全体データセット対サブセットベーストレーニング) 方法: 異なるアンサンブルの分類のための4つの一般的なMLアルゴリズムを組み合わせることで,11のアンサンブル x 4 データセット x 2 融合法 x 2 分割法 (176 組み合わせ) を用いて完全な因子的実験を行った。 各組み合わせの精度(F1スコア)とJのエネルギー消費(トレーニングと推論の両方)を測定した。 結果:より大きなアンサンブルサイズはエネルギー消費を著しく増加させた(サイズ2のアンサンブルはサイズ3のアンサンブルよりも37.49%少ないエネルギーを消費し、サイズ4のアンサンブルより26.96%少ないエネルギーを消費する)が、精度は著しく向上しなかった。 さらに、多数決によるメタモデル融合は精度(コーエンd:0.38)とエネルギー消費(コーエンd:0.92)の両方で優れていた。 最後に、サブセットベースのトレーニングはエネルギー消費を著しく減少させ(コーエンのdは0.91)、データセット全体のトレーニングは正確さを著しく向上させなかった。 結論: Green AIの観点からは、サブセットベースのトレーニング、多数決投票、決定木やネイブベイズ、KNNといったエネルギー効率のよいMLアルゴリズムを使用して、小さなサイズのアンサンブル(2ないし最大3モデル)を設計することを推奨します。

関連論文リスト

• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Context-Aware Ensemble Learning for Time Series [11.716677452529114]
  本稿では,ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて,ベースモデル予測を効果的に組み合わせたメタ学習手法を提案する。 我々のモデルは、ベースモデルの予測を機械学習アルゴリズムの入力として使用するのではなく、問題の状態に基づいて各時点における最良の組み合わせを選択する。
  論文  参考訳（メタデータ） (2022-11-30T10:36:13Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Ensemble Learning-Based Approach for Improving Generalization Capability of Machine Reading Comprehension Systems [0.7614628596146599]
  機械読み取り(MRC)は、近年、多くの開発が成功した自然言語処理の活発な分野である。 分布精度が高いにもかかわらず、これらのモデルには2つの問題がある。 本稿では,大規模モデルを再学習することなく,MCCシステムの一般化を改善するためのアンサンブル学習手法の効果について検討する。
  論文  参考訳（メタデータ） (2021-07-01T11:11:17Z)
• Utilizing Ensemble Learning for Performance and Power Modeling and Improvement of Parallel Cancer Deep Learning CANDLE Benchmarks [0.0]
  本稿では,アンサンブル学習を用いて,線形,非線形,木/木に基づく機械学習手法を組み合わせる。 2つの並列癌ディープラーニングCANDLEベンチマーク(NT3とP1B2)のために収集したデータセットを使用する。 P1B2は最大61.15%,P1B2は最大62.58%,P1B2は最大55.81%,NT3は最大52.60%の省エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-11-12T21:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。