論文の概要: MMO: Meta Multi-Objectivization for Software Configuration Tuning
- arxiv url: http://arxiv.org/abs/2112.07303v2
- Date: Wed, 15 Dec 2021 09:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-16 12:28:18.627039
- Title: MMO: Meta Multi-Objectivization for Software Configuration Tuning
- Title（参考訳）: MMO: ソフトウェア構成調整のためのメタ多目的化
- Authors: Tao Chen and Miqing Li
- Abstract要約: 補助的な性能目標を考慮したメタ多目的化(MMO)モデルを提案する。
重みを気にせずにMMOモデルを効果的に活用する方法を示す。
- 参考スコア（独自算出の注目度）: 7.285442358509729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software configuration tuning is essential for optimizing a given performance
objective (e.g., minimizing latency). Yet, due to the software's intrinsically
complex configuration landscape and expensive measurement, there has been a
rather mild success, particularly in preventing the search from being trapped
in local optima. To address this issue, in this paper we take a different
perspective. Instead of focusing on improving the optimizer, we work on the
level of optimization model and propose a meta multi-objectivization (MMO)
model that considers an auxiliary performance objective (e.g., throughput in
addition to latency). What makes this model unique is that we do not optimize
the auxiliary performance objective, but rather use it to make
similarly-performing while different configurations less comparable (i.e.
Pareto nondominated to each other), thus preventing the search from being
trapped in local optima. Importantly through a new normalization method we show
how to effectively use the MMO model without worrying about its weight -- the
only yet highly sensitive parameter that can affect its effectiveness.
Experiments on 22 cases from 11 real-world software systems/environments
confirm that our MMO model with the new normalization performs better than its
state-of-the-art single-objective counterparts on 82% cases while achieving up
to 2.09x speedup. For 67% of the cases, the new normalization also enables the
MMO model to outperform the instance when using it with the normalization used
in our prior FSE work under pre-tuned best weights, saving a great amount of
resources which would be otherwise necessary to find a good weight. We also
demonstrate that the MMO model with the new normalization can consolidate
Flash, a recent model-based tuning tool, on 68% of the cases with 1.22x speedup
in general.
- Abstract（参考訳）: 所定のパフォーマンス目標(例えば、レイテンシを最小化する)を最適化するには、ソフトウェア構成チューニングが不可欠である。
しかし、ソフトウェアが本質的に複雑な構成のランドスケープと高価な測定のために、特に検索がローカルのオプティマに閉じ込められるのを防ぐために、やや成功した。
この問題に対処するため、本稿では異なる視点を取ります。
最適化モデルの改善に焦点をあてる代わりに、最適化モデルに取り組み、補助的なパフォーマンス目標(レイテンシに加えてスループットなど)を考慮したメタ多目的化(MMO)モデルを提案する。
このモデルをユニークなものにしているのは、補助的なパフォーマンスの目標を最適化するのではなく、異なる構成(Paretoが互いに支配的でない)で同等な性能を保ちながら、検索がローカルなオプティマに閉じ込められないようにするためである。
重要なことは、新しい正規化手法を通じて、重みを気にせずにMMOモデルを効果的に利用する方法を示します。
11の現実世界のソフトウェアシステム/環境による22のケースの実験では、新しい正規化を備えたMMOモデルは82%のケースで最先端の単一オブジェクトモデルよりも性能が良く、最大2.09倍のスピードアップを実現しています。
67%のケースでは、MMOモデルを使用することで、事前調整したベストウェイトの下でのFSE作業で使われる正規化により、MMOモデルがインスタンスを上回り、優れたウェイトを見つけるのに必要となる大量のリソースを節約することができる。
また、新しい正規化を伴うMMOモデルにより、最近のモデルベースのチューニングツールであるFlashを、一般的に1.22倍のスピードアップのケースの68%で統合できることを実証した。
関連論文リスト
- Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。
我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。
我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
論文 参考訳（メタデータ） (2024-11-15T18:59:27Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Improving Instance Optimization in Deformable Image Registration with Gradient Projection [7.6061804149819885]
変形可能な画像登録は本質的に多目的最適化問題である。
これらの矛盾する目的は、しばしば最適化結果の貧弱につながる。
ディープラーニングの手法は、大規模なデータセット処理の効率化により、最近この領域で人気を博している。
論文 参考訳（メタデータ） (2024-10-21T08:27:13Z) - Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。
マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。
人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-10-04T04:56:11Z) - Patched MOA: optimizing inference for diverse software development tasks [1.14219428942199]
本稿では,大規模言語モデル(LLM)の性能を大幅に向上させる推論最適化手法であるPatched MOAを紹介する。
我々は3つの推論最適化アルゴリズム、Best of N、Mixture of Agents、Monte Carlo Tree Searchを評価した。
Patched MOAはより小型のモデルの性能を高め、より大型で高価なモデルを上回ることを実証しています。
論文 参考訳（メタデータ） (2024-07-26T05:34:34Z) - Adapting Multi-objectivized Software Configuration Tuning [6.42475226408675]
本稿では,AdMMOと呼ばれる重み適応手法を提案する。
私たちのキーとなるアイデアは、チューニング中に適切なタイミングで重みを適応的に調整し、非支配的な構成のかなりの割合を維持できるようにすることです。
論文 参考訳（メタデータ） (2024-04-06T22:08:09Z) - QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources [37.265708531464746]
大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに顕著な影響を与えている。
これらのトレーニング済みモデルを下流データセットに微調整することで、さらなる大幅なパフォーマンス向上が達成されるが、このプロセスは異常なリソース要求のために困難だった。
性能を損なうことなくメモリ効率のよい微調整を可能にするLLMのための新しい量子フルパラメータチューニングフレームワークQFTを提案する。
論文 参考訳（メタデータ） (2023-10-11T02:47:40Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2023-07-25T19:03:21Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - Multi-Objectivizing Software Configuration Tuning (for a single
performance concern) [7.285442358509729]
補助的な性能目標を考慮したメタ目的化モデル(MMO)を提案する。
我々のモデルは,局所最適性を克服する上で,最先端の単目的モデルよりも統計的に有効である。
論文 参考訳（メタデータ） (2021-05-31T03:03:53Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳（メタデータ） (2020-08-02T02:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。