論文の概要: MMO: Meta Multi-Objectivization for Software Configuration Tuning
- arxiv url: http://arxiv.org/abs/2112.07303v3
- Date: Fri, 15 Mar 2024 14:09:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 08:10:52.903942
- Title: MMO: Meta Multi-Objectivization for Software Configuration Tuning
- Title（参考訳）: MMO: ソフトウェア構成調整のためのメタ多目的化
- Authors: Pengzhou Chen, Tao Chen, Miqing Li,
- Abstract要約: 補助的な性能目標を考慮したメタ多目的化(MMO)モデルを提案する。
重みを気にせずにMMOモデルを効果的に活用する方法を示す。
- 参考スコア（独自算出の注目度）: 5.716481441755875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software configuration tuning is essential for optimizing a given performance objective (e.g., minimizing latency). Yet, due to the software's intrinsically complex configuration landscape and expensive measurement, there has been a rather mild success, particularly in preventing the search from being trapped in local optima. To address this issue, in this paper we take a different perspective. Instead of focusing on improving the optimizer, we work on the level of optimization model and propose a meta multi-objectivization (MMO) model that considers an auxiliary performance objective (e.g., throughput in addition to latency). What makes this model distinct is that we do not optimize the auxiliary performance objective, but rather use it to make similarly-performing while different configurations less comparable (i.e. Pareto nondominated to each other), thus preventing the search from being trapped in local optima. Importantly, by designing a new normalization method, we show how to effectively use the MMO model without worrying about its weight -- the only yet highly sensitive parameter that can affect its effectiveness. Experiments on 22 cases from 11 real-world software systems/environments confirm that our MMO model with the new normalization performs better than its state-of-the-art single-objective counterparts on 82% cases while achieving up to 2.09x speedup. For 68% of the cases, the new normalization also enables the MMO model to outperform the instance when using it with the normalization from our prior FSE work under pre-tuned best weights, saving a great amount of resources which would be otherwise necessary to find a good weight. We also demonstrate that the MMO model with the new normalization can consolidate recent model-based tuning tools on 68% of the cases with up to 1.22x speedup in general.
- Abstract（参考訳）: ソフトウェア構成チューニングは、与えられたパフォーマンス目標(例えば、レイテンシの最小化)を最適化するために不可欠である。
しかし、ソフトウェアが本質的に複雑な構成のランドスケープと高価な測定のために、特に検索がローカルのオプティマに閉じ込められるのを防ぐために、かなり穏やかな成功を収めた。
この問題に対処するため、本論文では異なる視点で論じる。
最適化モデルの改善に焦点をあてる代わりに、最適化モデルに取り組み、補助的なパフォーマンス目標(例えばレイテンシに加えてスループット)を考慮したメタ多目的化(MMO)モデルを提案する。
このモデルを明確にしているのは、補助的なパフォーマンスの目的を最適化するのではなく、異なる構成(Paretoが互いに支配的でない)で同等に性能を保ちながら、検索がローカルなオプティマに閉じ込められないようにするためである。
重要なことは、新しい正規化法を設計することで、重みを気にせずにMMOモデルを効果的に利用する方法を示します。
11の現実世界のソフトウェアシステム/環境による22のケースの実験では、新しい正規化を備えたMMOモデルは82%のケースで最先端の単一オブジェクトモデルよりも性能が良く、最大2.09倍のスピードアップを実現しています。
68%のケースでは、MMOモデルを使用することで、事前調整したベストウェイトの下でのFSE作業の正規化により、MMOモデルがインスタンスよりも優れており、優れたウェイトを見つけるのに必要となる大量のリソースを節約することができる。
また、新しい正規化を伴うMMOモデルは、一般的に1.22倍のスピードアップを持つ68%のケースにおいて、最新のモデルベースチューニングツールを統合可能であることを実証した。
関連論文リスト
- Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。
我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。
我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
論文 参考訳（メタデータ） (2024-11-15T18:59:27Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Improving Instance Optimization in Deformable Image Registration with Gradient Projection [7.6061804149819885]
変形可能な画像登録は本質的に多目的最適化問題である。
これらの矛盾する目的は、しばしば最適化結果の貧弱につながる。
ディープラーニングの手法は、大規模なデータセット処理の効率化により、最近この領域で人気を博している。
論文 参考訳（メタデータ） (2024-10-21T08:27:13Z) - Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。
マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。
人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-10-04T04:56:11Z) - Patched MOA: optimizing inference for diverse software development tasks [1.14219428942199]
本稿では,大規模言語モデル(LLM)の性能を大幅に向上させる推論最適化手法であるPatched MOAを紹介する。
我々は3つの推論最適化アルゴリズム、Best of N、Mixture of Agents、Monte Carlo Tree Searchを評価した。
Patched MOAはより小型のモデルの性能を高め、より大型で高価なモデルを上回ることを実証しています。
論文 参考訳（メタデータ） (2024-07-26T05:34:34Z) - Adapting Multi-objectivized Software Configuration Tuning [6.42475226408675]
本稿では,AdMMOと呼ばれる重み適応手法を提案する。
私たちのキーとなるアイデアは、チューニング中に適切なタイミングで重みを適応的に調整し、非支配的な構成のかなりの割合を維持できるようにすることです。
論文 参考訳（メタデータ） (2024-04-06T22:08:09Z) - QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources [37.265708531464746]
大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに顕著な影響を与えている。
これらのトレーニング済みモデルを下流データセットに微調整することで、さらなる大幅なパフォーマンス向上が達成されるが、このプロセスは異常なリソース要求のために困難だった。
性能を損なうことなくメモリ効率のよい微調整を可能にするLLMのための新しい量子フルパラメータチューニングフレームワークQFTを提案する。
論文 参考訳（メタデータ） (2023-10-11T02:47:40Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2023-07-25T19:03:21Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - Multi-Objectivizing Software Configuration Tuning (for a single
performance concern) [7.285442358509729]
補助的な性能目標を考慮したメタ目的化モデル(MMO)を提案する。
我々のモデルは,局所最適性を克服する上で,最先端の単目的モデルよりも統計的に有効である。
論文 参考訳（メタデータ） (2021-05-31T03:03:53Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳（メタデータ） (2020-08-02T02:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。