論文の概要: From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis

• arxiv url: http://arxiv.org/abs/2512.19246v1
• Date: Mon, 22 Dec 2025 10:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.713664
• Title: From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
• Title（参考訳）: ハイパーパラメータ相互作用解析によるブラックボックスチューニングからガイド付き最適化へ
• Authors: Moncef Garouani, Ayah Barhrhouj,
• Abstract要約: メタラーニングとShapley値分析を用いて,動作可能なチューニングインサイトを提供する,スケーラブルな半自動AI(XAI)手法であるMetaSHAPを紹介する。 我々は164の分類データセットと14の分類器の多種多様なベンチマークでMetaSHAPを実証的に検証した。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameters tuning is a fundamental, yet computationally expensive, step in optimizing machine learning models. Beyond optimization, understanding the relative importance and interaction of hyperparameters is critical to efficient model development. In this paper, we introduce MetaSHAP, a scalable semi-automated eXplainable AI (XAI) method, that uses meta-learning and Shapley values analysis to provide actionable and dataset-aware tuning insights. MetaSHAP operates over a vast benchmark of over 09 millions evaluated machine learning pipelines, allowing it to produce interpretable importance scores and actionable tuning insights that reveal how much each hyperparameter matters, how it interacts with others and in which value ranges its influence is concentrated. For a given algorithm and dataset, MetaSHAP learns a surrogate performance model from historical configurations, computes hyperparameters interactions using SHAP-based analysis, and derives interpretable tuning ranges from the most influential hyperparameters. This allows practitioners not only to prioritize which hyperparameters to tune, but also to understand their directionality and interactions. We empirically validate MetaSHAP on a diverse benchmark of 164 classification datasets and 14 classifiers, demonstrating that it produces reliable importance rankings and competitive performance when used to guide Bayesian optimization.
• Abstract（参考訳）: ハイパーパラメータチューニングは、機械学習モデルを最適化するための基本的な、しかし計算コストのかかるステップである。 最適化を超えて、ハイパーパラメータの相対的重要性と相互作用を理解することは、効率的なモデル開発にとって重要である。 本稿では、メタラーニングとシェープリー値分析を用いて、動作可能でデータセット対応のチューニングインサイトを提供する、スケーラブルな半自動eXPlainable AI(XAI)手法であるMetaSHAPを紹介する。 MetaSHAPは、9900万以上の評価された機械学習パイプラインの大規模なベンチマークを運用し、解釈可能な重要度スコアと、各ハイパーパラメータがどれほど重要か、他とどのように相互作用し、その影響範囲が集中しているかを明らかにする実行可能なチューニングインサイトを生成することができる。 与えられたアルゴリズムとデータセットに対して、MetaSHAPは、過去の構成から代理パフォーマンスモデルを学び、SHAPに基づく分析を用いてハイパーパラメータ相互作用を計算し、最も影響力のあるハイパーパラメータから解釈可能なチューニング範囲を導出する。 これにより、実践者はどのハイパーパラメータをチューニングするかを優先順位付けするだけでなく、その方向性や相互作用を理解することができる。 我々は164の分類データセットと14の分類器の多種多様なベンチマークでMetaSHAPを実証的に検証し、ベイズ最適化を導く際には信頼性の高い重要なランキングと競合性能が得られることを示した。

関連論文リスト

• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• HyperSHAP: Shapley Values and Interactions for Explaining Hyperparameter Optimization [17.646452580419545]
  ブラックボックスHPOメソッドは、ユーザの信頼を損なうとともに、採用を阻害する。 本稿では,シャプリー値と相互作用に基づくHPOのゲーム理論的説明可能性フレームワークを提案する。 様々なHPOベンチマークでHyperSHAPの能力を実証し、対応するHPO問題の相互作用構造を解析する。
  論文  参考訳（メタデータ） (2025-02-03T11:47:52Z)
• Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
  本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
  論文  参考訳（メタデータ） (2024-10-11T15:47:46Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning Framework for Data Analytic Services [25.889791254011794]
  クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。 他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。 異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
  論文  参考訳（メタデータ） (2023-04-20T02:19:10Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• To tune or not to tune? An Approach for Recommending Important Hyperparameters [2.121963121603413]
  機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。 この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
  論文  参考訳（メタデータ） (2021-08-30T08:54:58Z)
• Guided Hyperparameter Tuning Through Visualization and Inference [12.035299005299306]
  本稿では,ディープラーニングの実践者がハイパーパラメータをより効率的に探索し,チューニングし,最適化することができる可視化システムを提案する。 鍵となる考え方は、予測メカニズムを使用して、より最適なハイパーパラメータを直接提案することである。 私たちはこのツールをディープラーニングモデルビルダーに関するユーザスタディで評価し、私たちの参加者はツールの採用にほとんど問題がなく、ワークフローの一部として作業しています。
  論文  参考訳（メタデータ） (2021-05-24T19:55:24Z)
• Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
  事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。 ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。 本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
  論文  参考訳（メタデータ） (2020-02-19T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。