論文の概要: Unveiling Many Faces of Surrogate Models for Configuration Tuning: A Fitness Landscape Analysis Perspective
- arxiv url: http://arxiv.org/abs/2509.21945v1
- Date: Fri, 26 Sep 2025 06:25:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.23731
- Title: Unveiling Many Faces of Surrogate Models for Configuration Tuning: A Fitness Landscape Analysis Perspective
- Title（参考訳）: 構成調整のためのサロゲートモデルの多面展開--フィトネス景観解析の視点から
- Authors: Pengzhou Chen, Hongyuan Liang, Tao Chen,
- Abstract要約: チューニングにおけるモデルの有用性を評価するための精度の代替として,理論を提案する。
我々は,どのモデル-チューニングペアが最適かを推定する自動予測ツールであるModel4Tuneを提案する。
- 参考スコア（独自算出の注目度）: 4.713271840229309
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To efficiently tune configuration for better system performance (e.g., latency), many tuners have leveraged a surrogate model to expedite the process instead of solely relying on the profoundly expensive system measurement. As such, it is naturally believed that we need more accurate models. However, the fact of accuracy can lie-a somewhat surprising finding from prior work-has left us many unanswered questions regarding what role the surrogate model plays in configuration tuning. This paper provides the very first systematic exploration and discussion, together with a resolution proposal, to disclose the many faces of surrogate models for configuration tuning, through the novel perspective of fitness landscape analysis. We present a theory as an alternative to accuracy for assessing the model usefulness in tuning, based on which we conduct an extensive empirical study involving up to 27,000 cases. Drawing on the above, we propose Model4Tune, an automated predictive tool that estimates which model-tuner pairs are the best for an unforeseen system without expensive tuner profiling. Our results suggest that Moldel4Tune, as one of the first of its kind, performs significantly better than random guessing in 79%-82% of the cases. Our results not only shed light on the possible future research directions but also offer a practical resolution that can assist practitioners in evaluating the most useful model for configuration tuning.
- Abstract（参考訳）: より優れたシステムパフォーマンス(例えばレイテンシ)のために構成を効率的にチューニングするために、多くのチューナーは、非常に高価なシステム計測に頼るのではなく、サロゲートモデルを利用してプロセスを高速化した。
そのため、より正確なモデルが必要であると自然に信じられている。
しかし、精度の事実は、事前の作業から多少の驚くべき発見であり、サロゲートモデルが構成チューニングで果たす役割について、多くの未解決の疑問を残した。
本論文は,フィットネスランドスケープ分析の新たな視点を通じて,構成調整のための代理モデルの多くの面を明らかにするための解決提案とともに,最初の体系的な探索と議論を行うものである。
本論は,最大27,000件の症例を対象とする広範囲な実証研究を行ない,チューニングにおけるモデルの有用性を評価するための精度の代替となる理論を提案する。
以上に基づいて,高額なチューナープロファイリングを伴わない,予期せぬシステムにおいて,どのモデル-チューニングペアが最適かを推定する自動予測ツールであるModel4Tuneを提案する。
以上の結果から,Moldel4Tuneは79%～82%の症例において,ランダムな推測よりも有意に優れた性能を示した。
本研究の結果は,今後の研究の方向性に光を当てるだけでなく,実践者が構成調整に最も有用なモデルを評価する上で,実践者を支援するための実践的解決も提供する。
関連論文リスト
- Accuracy Can Lie: On the Impact of Surrogate Model in Configuration Tuning [2.7382619198694886]
われわれは13ヶ月の期間にわたって,過去最大規模の実証研究を行っている。
高い精度が実際にチューニング結果の改善に繋がらないケースがかなりの数存在する。
多くのチューナーで選択されたモデルは準最適であり、チューニング品質を著しく向上させるために要求される精度はモデル精度の範囲によって異なる。
論文 参考訳（メタデータ） (2025-01-03T15:57:20Z) - Predictive Churn with the Set of Good Models [61.00058053669447]
本稿では,予測的不整合という2つの無関係な概念の関連性について考察する。
予測多重性(英: predictive multiplicity)は、個々のサンプルに対して矛盾する予測を生成するモデルである。
2つ目の概念である予測チャーン(英: predictive churn)は、モデル更新前後の個々の予測の違いを調べるものである。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Pruning Large Language Models via Accuracy Predictor [0.0]
数十億のパラメータ(あるいはそれ以上)を含む大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な機能を示している。
まず,一定の数のアーキテクチャと精度のペアのトレーニングセットを構築し,非ニューラルネットワークモデルを精度予測器として訓練する。
論文 参考訳（メタデータ） (2023-09-18T06:38:24Z) - GPT-Neo for commonsense reasoning -- a theoretical and practical lens [0.46040036610482665]
我々は6ドルのコモンセンス推論ベンチマークタスクを用いてGPT-neoモデルの性能を評価する。
我々は,GPT-neoモデルを用いて,より大規模なモデルベースラインに対して,より小さなモデルの性能を検討することを目的とする。
論文 参考訳（メタデータ） (2022-11-28T17:49:38Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳（メタデータ） (2022-11-28T17:41:48Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳（メタデータ） (2022-10-28T17:52:10Z) - Exploring The Landscape of Distributional Robustness for Question
Answering Models [47.178481044045505]
調査は350以上のモデルと16の質問応答データセットにまたがる。
多くの場合、モデルのバリエーションは堅牢性に影響を与えない。
我々は,質問応答モデルに対するロバストネスの傾向をさらに分析するよう研究者に促すため,すべての評価を公表する。
論文 参考訳（メタデータ） (2022-10-22T18:17:31Z) - Predicting on the Edge: Identifying Where a Larger Model Does Better [61.793778186198864]
小型モデルが最も不確実な例では,大規模モデルが最も改善されていることを示す。
小型モデルが不確実な場合,サンプルを大モデルにデフェクトするスイッチャーモデルにより,性能と資源利用の大幅な向上が達成できることを示す。
論文 参考訳（メタデータ） (2022-02-15T18:53:14Z) - Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。
蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。
ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
論文 参考訳（メタデータ） (2021-06-09T17:20:40Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。