論文の概要: Modeling All Response Surfaces in One for Conditional Search Spaces
- arxiv url: http://arxiv.org/abs/2501.04260v1
- Date: Wed, 08 Jan 2025 03:56:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:55:31.170564
- Title: Modeling All Response Surfaces in One for Conditional Search Spaces
- Title（参考訳）: 条件付き探索空間における全応答面のモデル化
- Authors: Jiaxing Li, Wei Liu, Chao Xue, Yibing Zhan, Xiaoxing Wang, Weifeng Liu, Dacheng Tao,
- Abstract要約: 本稿では,すべての部分空間の応答曲面をモデル化する新しい手法を提案する。
本稿では,様々な部分空間から異なる構造を持つ構成を統一された特徴空間に投影できる注目型深層特徴抽出器を提案する。
- 参考スコア（独自算出の注目度）: 69.90317997694218
- License:
- Abstract: Bayesian Optimization (BO) is a sample-efficient black-box optimizer commonly used in search spaces where hyperparameters are independent. However, in many practical AutoML scenarios, there will be dependencies among hyperparameters, forming a conditional search space, which can be partitioned into structurally distinct subspaces. The structure and dimensionality of hyperparameter configurations vary across these subspaces, challenging the application of BO. Some previous BO works have proposed solutions to develop multiple Gaussian Process models in these subspaces. However, these approaches tend to be inefficient as they require a substantial number of observations to guarantee each GP's performance and cannot capture relationships between hyperparameters across different subspaces. To address these issues, this paper proposes a novel approach to model the response surfaces of all subspaces in one, which can model the relationships between hyperparameters elegantly via a self-attention mechanism. Concretely, we design a structure-aware hyperparameter embedding to preserve the structural information. Then, we introduce an attention-based deep feature extractor, capable of projecting configurations with different structures from various subspaces into a unified feature space, where the response surfaces can be formulated using a single standard Gaussian Process. The empirical results on a simulation function, various real-world tasks, and HPO-B benchmark demonstrate that our proposed approach improves the efficacy and efficiency of BO within conditional search spaces.
- Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimization, BO)は、ハイパーパラメータが独立な探索空間で一般的に用いられる、サンプリング効率の良いブラックボックス最適化器である。
しかし、多くの実践的なAutoMLシナリオでは、ハイパーパラメータ間の依存関係が存在し、条件付き検索空間を形成し、構造的に異なる部分空間に分割することができる。
ハイパーパラメータの構成の構造と次元はこれらの部分空間によって異なり、BOの適用に挑戦する。
以前のBOの研究では、これらの部分空間で複数のガウス過程モデルを開発するための解決策が提案されている。
しかしながら、これらのアプローチはGPの性能を保証するためにかなりの数の観測を必要とし、異なる部分空間にわたるハイパーパラメータ間の関係を捉えることができないため、非効率である。
これらの問題に対処するため,本論文では,自己認識機構を用いてハイパーパラメータ間の関係をエレガントにモデル化できる,全ての部分空間の応答面をモデル化する新しい手法を提案する。
具体的には,構造情報を保存するために,構造を意識したハイパーパラメータの埋め込みを設計する。
次に,様々な部分空間から異なる構造を持つ構成を統一された特徴空間に投影し,単一の標準ガウス過程を用いて応答面を定式化できる注目型深層特徴抽出器を提案する。
シミュレーション関数,各種実世界のタスク,HPO-Bベンチマークによる実験結果から,提案手法は条件付き探索空間におけるBOの有効性と効率を向上することを示した。
関連論文リスト
- FLoRA: Low-Rank Core Space for N-dimension [78.39310274926535]
さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。
これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。
本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率きめ細調整フレームワークFLoRAを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:04:42Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-28T11:23:34Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Bayesian Optimization over High-Dimensional Combinatorial Spaces via
Dictionary-based Embeddings [36.60636056219264]
我々は,科学,工学,機械学習の分野において,高次元空間上でのブラックボックス関数の最適化の問題を考える。
鍵となるアイデアは、入力空間から多くの離散構造を選択し、それらを用いて高次元構造に対する順序埋め込みを定義することである。
本稿では,二分空間の辞書を構築するための二分ウェーブレットに基づく原理的アプローチを開発し,分類空間に一般化するランダム化構成法を提案する。
論文 参考訳（メタデータ） (2023-03-03T08:31:42Z) - Different Tunes Played with Equal Skill: Exploring a Unified
Optimization Subspace for Delta Tuning [95.72622659619445]
デルタチューニング(DET)は、事前学習言語モデル(PLM)を使用するための新しいパラダイムであると考えられている。
これまでのところ、異なる設計要素を持つ様々なDETが提案されており、微調整と同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-24T14:57:35Z) - A local approach to parameter space reduction for regression and
classification tasks [0.0]
そこで本研究では, クラスタリング手法を用いて, アクティブ部分空間のシナジーを探索する, ローカルアクティブ部分空間 (LAS) と呼ばれる新しい手法を提案する。
LASは、サロゲートモデリングに取り組んでいるコミュニティにとって特に有用である。
論文 参考訳（メタデータ） (2021-07-22T18:06:04Z) - High-Dimensional Bayesian Optimization with Sparse Axis-Aligned
Subspaces [14.03847432040056]
スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。
提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
論文 参考訳（メタデータ） (2021-02-27T23:06:24Z) - MOFA: Modular Factorial Design for Hyperparameter Optimization [47.779983311833014]
Modular FActorial Design (MOFA) は、因子分析により評価結果を利用する新しいHPO法である。
我々はMOFAの推測が他のサンプリング手法よりも高い信頼性が得られることを証明した。
実験結果から,MOFAは最先端手法よりも有効性と効率性が高いことが示された。
論文 参考訳（メタデータ） (2020-11-18T20:54:28Z) - High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。
我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
論文 参考訳（メタデータ） (2020-10-21T11:24:11Z) - Misspecification-robust likelihood-free inference in high dimensions [13.934999364767918]
本稿では,ベイズ最適化に基づく近似離散関数の確率的手法による拡張を提案する。
提案手法は,高次元パラメータ空間に対する計算スケーラビリティを,各パラメータの別個の取得関数と相違点を用いて達成する。
本手法は,100次元空間における標準例による計算効率のよい推論を成功させ,既存のモジュール化ABC法と比較した。
論文 参考訳（メタデータ） (2020-02-21T16:06:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。