論文の概要: Mixed-Categorical Black-Box Optimization via Information-Geometric Bilevel Decomposition
- arxiv url: http://arxiv.org/abs/2606.12885v1
- Date: Thu, 11 Jun 2026 04:27:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.57804
- Title: Mixed-Categorical Black-Box Optimization via Information-Geometric Bilevel Decomposition
- Title（参考訳）: 情報幾何学的二値分解による混合カテゴリーブラックボックス最適化
- Authors: Marc Ong, Shinichi Shirakawa, Youhei Akimoto,
- Abstract要約: 混合カテゴリー連続最適化は多くの実践領域で生じるが、依然として困難である。
本研究では、外ループ内のカテゴリ変数と、内ループ内の各カテゴリ構成に条件付された連続変数を最適化することにより、そのような相互作用を明示的にキャプチャする双レベル最適化フレームワークを提案する。
二項連続領域に対する実験結果から,提案手法は従来のインタラクションハンドリング能力よりも優れており,従来報告されていたインタラクションと新たに提案されたインタラクションの両タイプを包含するベンチマークにおいて,より効率的であることが示された。
- 参考スコア（独自算出の注目度）: 4.50009116058958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixed categorical-continuous optimization arises in many practical domains, yet remains challenging. In the black-box setting, evolution strategy-based approaches have shown promise in extending the efficiency and robustness of the CMA-ES to mixed-variable spaces. However, these methods exhibit worsened performance when strong categorical-continuous interactions are present, as their underlying search distributions assume independence between categorical and continuous variables. To address this limitation, we propose a bilevel optimization framework that explicitly captures such interactions by optimizing over categorical variables in an outer loop, and over continuous variables conditioned on each categorical configuration in an inner loop. We formulate each level of the bilevel problem as a stochastic relaxation under information-geometric optimization. To mitigate the high computational cost inherent to bilevel optimization, we introduce a warm-starting strategy that accelerates the lower-level search by selecting the best among multiple cached configurations and updating the cache after each iteration. Experimental results on binary-continuous domain demonstrate that the proposed method outperforms existing state-of-the-art approaches in interaction-handling capability while also being more computationally efficient across benchmarks encompassing both previously reported and newly proposed types of interaction.
- Abstract（参考訳）: 混合カテゴリー連続最適化は多くの実践領域で生じるが、依然として困難である。
ブラックボックス設定では、進化戦略に基づくアプローチは、CMA-ESの効率性とロバスト性を混合変数空間に拡張することを約束している。
しかし,これらの手法は,分類変数と連続変数の独立性を前提とした探索分布によって,強い分類的・連続的な相互作用が存在する場合に,性能が悪化する。
この制限に対処するために,2段階の最適化フレームワークを提案する。このフレームワークは,外ループ内のカテゴリ変数を最適化し,内ループ内の各カテゴリ構成に条件付された連続変数を最適化することで,そのようなインタラクションを明示的にキャプチャする。
両レベル問題の各レベルを,情報幾何学的最適化の下で確率的緩和として定式化する。
両レベル最適化に固有の高計算コストを軽減するため,複数のキャッシュ構成の中からベストを選択し,反復後にキャッシュを更新することで,低レベルの検索を高速化するウォームスタート戦略を導入する。
二項連続領域に対する実験結果から,提案手法は従来のインタラクションハンドリング能力よりも優れており,また,従来報告されていたインタラクションと新たに提案されたインタラクションの両タイプを包含するベンチマークにおいて,より計算効率がよいことを示した。
関連論文リスト
- Accelerating Black-Box Bilevel Optimization with Rank-Based Upper-Level Value Function Approximation [4.026354668375411]
階数に基づく進化的アルゴリズムを単調な反復に活用する効率的なフレームワークを提案する。
提案手法は,標準的な二段階最適化ベンチマーク上での競合性能を実証する。
論文 参考訳（メタデータ） (2026-04-03T08:55:23Z) - Differentially Private Bilevel Optimization: Efficient Algorithms with Near-Optimal Rates [23.143960802555714]
両レベル最適化について検討し、一方の最適化問題を別の内部にネストする。
個人のプライバシーに関する懸念から、我々は新しい二段階アルゴリズムを開発した。
我々の境界は内部の問題の焦点に依存しない。
論文 参考訳（メタデータ） (2025-06-15T23:21:36Z) - Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。
我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。
アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
論文 参考訳（メタデータ） (2022-10-31T17:59:29Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Bayesian Optimisation for Mixed-Variable Inputs using Value Proposals [10.40799693791025]
カテゴリー変数と連続変数の両方で定義される最適化問題。
包括的視点を採用し、分類的および連続的な部分空間の最適化を統合することを目的としている。
この統一アプローチは、既存の混合変数最適化アプローチよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2022-02-10T04:42:48Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。