論文の概要: MMO: Meta Multi-Objectivization for Software Configuration Tuning
- arxiv url: http://arxiv.org/abs/2112.07303v2
- Date: Wed, 15 Dec 2021 09:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-16 12:28:18.627039
- Title: MMO: Meta Multi-Objectivization for Software Configuration Tuning
- Title(参考訳): MMO: ソフトウェア構成調整のためのメタ多目的化
- Authors: Tao Chen and Miqing Li
- Abstract要約: 補助的な性能目標を考慮したメタ多目的化(MMO)モデルを提案する。
重みを気にせずにMMOモデルを効果的に活用する方法を示す。
- 参考スコア(独自算出の注目度): 7.285442358509729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software configuration tuning is essential for optimizing a given performance
objective (e.g., minimizing latency). Yet, due to the software's intrinsically
complex configuration landscape and expensive measurement, there has been a
rather mild success, particularly in preventing the search from being trapped
in local optima. To address this issue, in this paper we take a different
perspective. Instead of focusing on improving the optimizer, we work on the
level of optimization model and propose a meta multi-objectivization (MMO)
model that considers an auxiliary performance objective (e.g., throughput in
addition to latency). What makes this model unique is that we do not optimize
the auxiliary performance objective, but rather use it to make
similarly-performing while different configurations less comparable (i.e.
Pareto nondominated to each other), thus preventing the search from being
trapped in local optima. Importantly through a new normalization method we show
how to effectively use the MMO model without worrying about its weight -- the
only yet highly sensitive parameter that can affect its effectiveness.
Experiments on 22 cases from 11 real-world software systems/environments
confirm that our MMO model with the new normalization performs better than its
state-of-the-art single-objective counterparts on 82% cases while achieving up
to 2.09x speedup. For 67% of the cases, the new normalization also enables the
MMO model to outperform the instance when using it with the normalization used
in our prior FSE work under pre-tuned best weights, saving a great amount of
resources which would be otherwise necessary to find a good weight. We also
demonstrate that the MMO model with the new normalization can consolidate
Flash, a recent model-based tuning tool, on 68% of the cases with 1.22x speedup
in general.
- Abstract(参考訳): 所定のパフォーマンス目標(例えば、レイテンシを最小化する)を最適化するには、ソフトウェア構成チューニングが不可欠である。
しかし、ソフトウェアが本質的に複雑な構成のランドスケープと高価な測定のために、特に検索がローカルのオプティマに閉じ込められるのを防ぐために、やや成功した。
この問題に対処するため、本稿では異なる視点を取ります。
最適化モデルの改善に焦点をあてる代わりに、最適化モデルに取り組み、補助的なパフォーマンス目標(レイテンシに加えてスループットなど)を考慮したメタ多目的化(MMO)モデルを提案する。
このモデルをユニークなものにしているのは、補助的なパフォーマンスの目標を最適化するのではなく、異なる構成(Paretoが互いに支配的でない)で同等な性能を保ちながら、検索がローカルなオプティマに閉じ込められないようにするためである。
重要なことは、新しい正規化手法を通じて、重みを気にせずにMMOモデルを効果的に利用する方法を示します。
11の現実世界のソフトウェアシステム/環境による22のケースの実験では、新しい正規化を備えたMMOモデルは82%のケースで最先端の単一オブジェクトモデルよりも性能が良く、最大2.09倍のスピードアップを実現しています。
67%のケースでは、MMOモデルを使用することで、事前調整したベストウェイトの下でのFSE作業で使われる正規化により、MMOモデルがインスタンスを上回り、優れたウェイトを見つけるのに必要となる大量のリソースを節約することができる。
また、新しい正規化を伴うMMOモデルにより、最近のモデルベースのチューニングツールであるFlashを、一般的に1.22倍のスピードアップのケースの68%で統合できることを実証した。
関連論文リスト
- AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
手作り正則化技術を用いた頑健な微調整への最近のアプローチ
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文 参考訳(メタデータ) (2024-01-18T18:58:49Z) - Lightweight Face Recognition: An Improved MobileFaceNet Model [0.0]
本稿では,MobileFaceNetとその修正版であるMMobileFaceNetについて述べる。
計算資源が限られているデバイス上での効率的なFRモデルの必要性は、メモリフットプリントを削減し、精度を犠牲にすることなく計算要求を減らしたモデルの開発につながった。
論文 参考訳(メタデータ) (2023-11-26T15:01:00Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources [37.265708531464746]
大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに顕著な影響を与えている。
これらのトレーニング済みモデルを下流データセットに微調整することで、さらなる大幅なパフォーマンス向上が達成されるが、このプロセスは異常なリソース要求のために困難だった。
性能を損なうことなくメモリ効率のよい微調整を可能にするLLMのための新しい量子フルパラメータチューニングフレームワークQFTを提案する。
論文 参考訳(メタデータ) (2023-10-11T02:47:40Z) - Deep Model Predictive Optimization [21.22047409735362]
ロボット工学における大きな課題は、現実世界で複雑でアジャイルな振る舞いを可能にする堅牢なポリシーを設計することである。
本稿では,MPC最適化アルゴリズムの内ループを体験を通して直接学習するDeep Model Predictive Optimization (DMPO)を提案する。
DMPOは、MFRLでトレーニングされたエンドツーエンドポリシーを19%削減することで、最高のMPCアルゴリズムを最大27%向上させることができる。
論文 参考訳(メタデータ) (2023-10-06T21:11:52Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2023-07-25T19:03:21Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-01-27T21:38:53Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Multi-Objectivizing Software Configuration Tuning (for a single
performance concern) [7.285442358509729]
補助的な性能目標を考慮したメタ目的化モデル(MMO)を提案する。
我々のモデルは,局所最適性を克服する上で,最先端の単目的モデルよりも統計的に有効である。
論文 参考訳(メタデータ) (2021-05-31T03:03:53Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳(メタデータ) (2020-08-02T02:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。