論文の概要: Dividable Configuration Performance Learning

• arxiv url: http://arxiv.org/abs/2409.07629v3
• Date: Wed, 20 Nov 2024 12:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:11:13.543874
• Title: Dividable Configuration Performance Learning
• Title（参考訳）: 分割可能な構成性能学習
• Authors: Jingzhi Gong, Tao Chen, Rami Bahsoon,
• Abstract要約: 本稿では,DaLと呼ばれる構成性能を予測するためのモデルに依存しない,スパース性ロバストなフレームワークを提案する。 DaLは、"diide-and-learn"を使ってモデルを構築する、分割可能な学習の新しいパラダイムに基づいている。
• 参考スコア（独自算出の注目度）: 4.949726352498762
• License:
• Abstract: Machine/deep learning models have been widely adopted for predicting the configuration performance of software systems. However, a crucial yet unaddressed challenge is how to cater for the sparsity inherited from the configuration landscape: the influence of configuration options (features) and the distribution of data samples are highly sparse. In this paper, we propose a model-agnostic and sparsity-robust framework for predicting configuration performance, dubbed DaL, based on the new paradigm of dividable learning that builds a model via "divide-and-learn". To handle sample sparsity, the samples from the configuration landscape are divided into distant divisions, for each of which we build a sparse local model, e.g., regularized Hierarchical Interaction Neural Network, to deal with the feature sparsity. A newly given configuration would then be assigned to the right model of division for the final prediction. Further, DaL adaptively determines the optimal number of divisions required for a system and sample size without any extra training or profiling. Experiment results from 12 real-world systems and five sets of training data reveal that, compared with the state-of-the-art approaches, DaL performs no worse than the best counterpart on 44 out of 60 cases with up to 1.61x improvement on accuracy; requires fewer samples to reach the same/better accuracy; and producing acceptable training overhead. In particular, the mechanism that adapted the parameter d can reach the optimal value for 76.43% of the individual runs. The result also confirms that the paradigm of dividable learning is more suitable than other similar paradigms such as ensemble learning for predicting configuration performance. Practically, DaL considerably improves different global models when using them as the underlying local models, which further strengthens its flexibility.
• Abstract（参考訳）: マシン/ディープ学習モデルは、ソフトウェアシステムの構成性能を予測するために広く採用されている。 しかしながら、重要な課題は、設定の選択肢(機能)とデータサンプルの分布の影響が極めて少ない、構成の状況から受け継がれた疎結合をいかに避けるかである。 本稿では,「分割学習」によるモデル構築の新たなパラダイムに基づく,DALと呼ばれる構成性能予測のためのモデル非依存・スポーシティ・ロバストなフレームワークを提案する。 サンプルの分散性を扱うために,構成ランドスケープから抽出したサンプルを分割して,疎局所モデル(例えば,正規化階層型相互作用ニューラルネットワーク)を構築し,特徴の分散性に対処する。 新たに与えられた構成は、最終的な予測のために正しい分割モデルに割り当てられる。 さらに、DaLは、追加のトレーニングやプロファイリングなしで、システムに必要な分割数とサンプルサイズを適応的に決定する。 12の現実世界システムと5つのトレーニングデータによる実験結果から、DaLは最先端のアプローチと比較して、精度が最大1.61倍改善された60のケースのうち44のケースにおいて、最高のシステムよりも劣悪であることがわかった。 特に、パラメータdを適応させるメカニズムは、個々のランの76.43%の最適値に達することができる。 また, 可分学習のパラダイムは, 構成性能を予測するためのアンサンブル学習などの類似のパラダイムよりも適していることを確認した。 実際にDaLは、基礎となるローカルモデルとして使用する場合、さまざまなグローバルモデルを大幅に改善し、柔軟性をさらに強化します。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• A Lightweight Measure of Classification Difficulty from Application Dataset Characteristics [4.220363193932374]
  効率的なコサイン類似度に基づく分類困難度尺度Sを提案する。 データセットのクラス数とクラス内およびクラス間の類似度メトリクスから計算される。 この手法を実践者が、繰り返しトレーニングやテストによって、6倍から29倍の速度で効率の良いモデルを選択するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-04-09T03:27:09Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Predicting Software Performance with Divide-and-Learn [3.635696352780227]
  本稿では,DALと呼ばれる「分枝学習」の概念に基づくアプローチを提案する。 実世界の8つのシステムと5つのトレーニングデータによる実験結果から、DaLは40件中33件で最高のシステムよりもパフォーマンスが劣っていることが判明した。
  論文  参考訳（メタデータ） (2023-06-11T11:16:27Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• SCAI: A Spectral data Classification framework with Adaptive Inference for the IoT platform [0.0]
  適応推論を用いたスペクトルデータ分類フレームワークを提案する。 具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。 我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
  論文  参考訳（メタデータ） (2022-06-24T09:22:52Z)
• Wavelet-Based Hybrid Machine Learning Model for Out-of-distribution Internet Traffic Prediction [3.689539481706835]
  本稿では,eXtreme Gradient Boosting, Light Gradient Boosting Machine, Gradient Descent, Gradient Boosting Regressor, Cat Regressorを用いた機械学習性能について検討する。 本稿では,ウェーブレット分解を統合したハイブリッド機械学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-09T14:34:42Z)
• Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling [11.324407834445422]
  本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。 この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
  論文  参考訳（メタデータ） (2020-03-25T08:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。