論文の概要: Bridging Spherical Black-Box Optimizers
- arxiv url: http://arxiv.org/abs/2606.25761v1
- Date: Wed, 24 Jun 2026 12:35:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.326755
- Title: Bridging Spherical Black-Box Optimizers
- Title（参考訳）: 球面ブラックボックス最適化器のブリッジ化
- Abstract要約: ブラックボックス最適化(BBO)法は、勾配情報が利用できない場合に実用的な代替手段を提供する。
既存手法を相互補完するハイブリッド手法を提案する。
提案手法を標準BBOベンチマークと高次元移動タスクで検証し,ハイブリッド手法がそれらの構成アルゴリズムより優れていることを示す。
- 参考スコア（独自算出の注目度）: 4.64185880226133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When gradient information is unavailable, black-box optimization (BBO) methods provide a practical alternative. While Evolution Strategies (ES), Consensus-Based Optimization (CBO), Optimization via Integration (OVI), and related methods have each been studied independently, their connections remain underexplored. We unify these approaches within a common theoretical framework, revealing that they differ primarily in two design choices: fitness aggregation (controlling sharpness preference) and consensus scope (controlling modality). Leveraging these insights, we introduce hybrid optimizers that interpolate between existing methods. Our ES-OVI hybrid allows explicit control over the preference for flat minima, enabling a trade-off between performance and robustness in continuous control tasks. Our CBO-OVI hybrids combine the higher-dimensional efficiency of parametric methods with the multimodal capabilities of particle-based approaches, achieving competitive results on language model merging under limited evaluation budgets. We validate our methods on standard BBO benchmarks and higher-dimensional locomotion tasks, demonstrating that the hybrid methods can outperform their constituent algorithms.
- Abstract（参考訳）: 勾配情報が入手できない場合、ブラックボックス最適化(BBO)法は実用的な代替手段を提供する。
進化戦略 (ES), 合意に基づく最適化 (CBO), 統合による最適化 (OVI), 関連手法がそれぞれ独立に研究されているが, 関連性は未解明のままである。
我々は、これらのアプローチを共通の理論的枠組みで統一し、主にフィットネスアグリゲーション(シャープネスの選好を制御する)とコンセンサススコープ(モダリティを制御する)という2つの設計選択で異なることを明らかにした。
これらの知見を生かして、既存のメソッド間を補間するハイブリッドオプティマイザを導入します。
我々のES-OVIハイブリッドは、フラットなミニマの好みを明示的に制御することができ、連続的な制御タスクのパフォーマンスと堅牢性の間のトレードオフを可能にします。
我々のCBO-OVIハイブリッドは、パラメトリック手法の高次元効率と粒子ベースのアプローチのマルチモーダル能力を組み合わせることで、限られた評価予算下での言語モデル統合における競合的な結果を達成している。
提案手法を標準BBOベンチマークと高次元移動タスクで検証し,ハイブリッド手法がそれらの構成アルゴリズムより優れていることを示す。
関連論文リスト
- Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity [13.065036862403966]
本稿では, Ensemble Gaussian Processes (EGP) と不一致認識獲得戦略を統合した統合フレームワーク KENDO を提案する。
KENDO-BOは最先端の手法と比較して、競争力や優れた最適化性能を達成している。
論文 参考訳（メタデータ） (2026-08-25T15:35:47Z) - V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think [90.69263509098948]
本稿では,ELBOをベースとしたサロゲートとグループ相対ポリシー最適化アルゴリズムを統合した変分GRPOを提案する。
V-GRPOはテキストと画像の合成において最先端のパフォーマンスを実現し、MixGRPOよりも2倍のスピードアップ、DiffusionNFTより3倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-04-25T17:03:21Z) - Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。
大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。
深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。
我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
論文 参考訳（メタデータ） (2026-04-14T17:01:36Z) - TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making [75.29820290660065]
本稿では,効果的な具体的意思決定のための思考中心推論最適化(TCPO)を提案する。
モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。
ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上している。
論文 参考訳（メタデータ） (2025-09-10T11:16:21Z) - ComPO: Preference Alignment via Comparison Oracles [26.629761802730258]
提案手法は,ゼロ階数に基づく新しい選好アライメント手法であり,比較オーラクルによる比較に基づく最適化である。
雑音の多い選好ペアを用いたLCMの性能向上のための実用的スキームの柔軟性と互換性を示す実験を行った。
論文 参考訳（メタデータ） (2025-05-08T17:56:57Z) - Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning [0.3686808512438362]
本研究では、確率論的ニューラルネットワーク(PNN)のトレーニングを強化するためのハイブリッドメタヒューリスティックアルゴリズムの可能性について検討する。
勾配に基づくアプローチのような伝統的な学習手法は、しばしば高次元で不確実な環境を最適化するのに苦労する。
本稿では,複数の個体群に基づく最適化手法を組み合わせた制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-26T19:49:16Z) - Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。
高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。
以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
論文 参考訳（メタデータ） (2024-02-06T11:44:06Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - Differentiable Multi-Target Causal Bayesian Experimental Design [43.76697029708785]
本稿では,ベイズ最適設計問題に対する勾配に基づくアプローチを導入し,バッチ環境で因果モデルを学習する。
既存の手法は、一連の実験を構築するためにグリーディ近似に依存している。
そこで本稿では,最適介入対象ペアの集合を取得するための,概念的にシンプルな勾配に基づく最適化手法を提案する。
論文 参考訳（メタデータ） (2023-02-21T11:32:59Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳（メタデータ） (2022-06-16T01:50:25Z) - Distributed Evolution Strategies for Black-box Stochastic Optimization [42.90600124972943]
この研究は、分散ブラックボックス最適化への進化的アプローチに関するものである。
各作業者は、アルゴリズムによる問題の近似を個別に解くことができる。
問題のロバスト性を大幅に改善する2つの代替シミュレーション手法を提案する。
論文 参考訳（メタデータ） (2022-04-09T11:18:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。