論文の概要: Adaptive Multi Mode: Budget-Aware Routing of Optimizers By Online Landscape Probes
- arxiv url: http://arxiv.org/abs/2611.06879v1
- Date: Wed, 04 Nov 2026 18:35:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.234612
- Title: Adaptive Multi Mode: Budget-Aware Routing of Optimizers By Online Landscape Probes
- Title(参考訳): 適応型マルチモード:オンライン景観プローブによる最適化手法の予算対応ルーティング
- Abstract要約: AMMは準ニュートン、信頼領域、座標、マルチスタート、進化ストラテジー最適化エンジンの間で既知の予算を導出する。
600個の機能ディメンション・バッジ細胞のうち、382個の最も高いターゲットシェアを持つ。
また、エンジンは10*Dと30*Dの狭義のエンジンで製造されている。
- 参考スコア(独自算出の注目度): 1.5229257192293202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The best classical optimizer for a continuous black-box problem depends on its budget and landscape. Existing routers decide from the dimension and budget, past improvement or features fitted to one benchmark, and few test an optimizer's implicit assumptions online. AMM (Adaptive Multi Mode) routes a known budget among quasi-Newton, trust-region, coordinate, multistart and evolution-strategy optimization engines with online probes of curvature, plateaus, separability, kinks, basins and fractal structure. Each probe has a default, a dimension-by-budget validity range and a cost charged to the budget. In its pre-registered development loop on bbob, 32 of 36 predictions held over the last 16 confirmations. AMM was then tested once on held-out bbob instances 101-110 (D=2-40, 10*D-1000*D) against up to seven competitors. It has the highest target share in 382 of 600 function-dimension-budget cells (236 outright, 146 tied) and, by a descriptive posterior rule, is credibly behind in 35, mostly at 10*D and 30*D. At every budget it also leads the controls built from its own engines (the best engine alone, the best engine per dimension and budget, and a greedy schedule), narrowly at 10*D and 30*D, and nevergrad's NgIohTuned. In pre-registered runs its lead over IPOP-CMA-ES holds under affine and box transformations, on box-constrained bbob and, pooled, on rotated f2-f4, but rotating the separable f3 and f4 removes most of the lead there. On held-out MA-BBOB its final share at 2000*D is level with IPOP-CMA-ES's and its anytime area lower. We published AMM as an open-source Python package (pip install amm-optimizer; https://github.com/BjBodner/amm-optimizer).
- Abstract(参考訳): 連続的なブラックボックス問題に対する古典的な最適化は、その予算と景観に依存する。
既存のルータは、寸法と予算、過去の改善または1つのベンチマークに適合する機能から決定し、オプティマイザの暗黙の仮定をオンラインでテストすることはほとんどない。
AMM(Adaptive Multi Mode)は、準ニュートン、信頼領域、座標、マルチスタート、進化ストラテジー最適化エンジンの間で既知の予算を、曲率、プラトー、分離性、キンク、盆地、フラクタル構造のオンラインプローブでルーティングする。
各プローブには、デフォルト、予算単位の妥当性範囲、予算に対する費用がある。
bbobの登録済みの開発ループでは、過去16回の確認で36の予測のうち32が実行された。
AMMはその後、最大7つの競合相手に対して101-110(D=2-40, 10*D-1000*D)で一度テストされた。
機能ディメンション予算細胞600個中382個が最も多く(直立236個、結合146個)、記述的な後部規則により、主に10*Dと30*Dの35個で確実に遅れている。
あらゆる予算において、自作のエンジン(最高のエンジンのみ、寸法毎のエンジン、予算毎の最高のエンジン、グレディなスケジュール)、狭く10*Dと30*D、そしていまだにNgIohTunedの制御を導いている。
IPOP-CMA-ESの先行登録では、アフィンやボックス変換、箱詰めのボブ、プール、回転するf2-f4でリードするが、分離可能なf3とf4を回転させると、ほとんどのリードが取り除かれる。
MA-BBOBの株は2000*Dで、IPOP-CMA-ESはそれより低い。
AMMはオープンソースPythonパッケージ(pip install amm-optimizer; https://github.com/BjBodner/amm-optimizer)として公開しました。
関連論文リスト
- Online Autotuning of Algebraic Multigrid via Contextual Bandits and Reinforcement Learning [4.959211170637948]
本研究では, ハイフレのBoomerAMGのオンラインオンライン自動チューニング手法を開発し, 関連する線形系の系列の累積時間と解法を減らした。
LinUCBベースのコンテキスト帯域幅は、共有コストモデルを用いて、AMG階層構築のための混合型パラメータを選択する。
403ドルのグリッド、603ドルのグリッド、そして803ドルのグリッドで、共同オートチューニング方式は、繰り返し計算を含む全体の実行時間を36.1-43.3%削減する。
論文 参考訳(メタデータ) (2026-10-31T18:45:29Z) - Hybrid metaheuristics for architectural design optimization under small evaluation and wall-clock budgets [0.0]
2つのハイブリッドメタヒューリスティックがアーキテクチャと構造設計の最適化のために提案されている。
また,適応微分進化における個体数削減の予算を考慮した遅延も提案した。
工学的応用では、CMA-ESハイブリッドと通常のCMA-ESはグラスホッパーよりも著しく劣ることはない。
論文 参考訳(メタデータ) (2026-10-19T11:29:14Z) - Monarch-Muon: Structure-Aware Muon for Fast and Memory-Efficient Pretraining [92.01217521476444]
我々は、モナール因子によってパラメータ化される構造化行列認識であるモナール・ムーンを提案する。
結果として、重み、勾配、状態が減少し、小さな独立した更新サブプロブレムが露出する。
品質面では、Monarch-MuonはMonarch-AdamWを固定構造で改善する。
論文 参考訳(メタデータ) (2026-10-12T21:41:39Z) - Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models [58.27409489926424]
微調整インストラクションモデルは、参照モデルから振る舞いのドリフトを誘導しながら、しばしば目標性能を改善する。
行動ドリフトが参照モデルに固定された共有幾何をいかに誘導するかを示し、ドリフト予算が空間内の境界を定義する。
私たちの結果は、微調整はモデルの変更量だけでなく、その変更にどのように費やされているかを示唆しています。
論文 参考訳(メタデータ) (2026-09-12T03:13:54Z) - Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training [2.5954303305216095]
5つのドメインにまたがる30のアロケーションをトレーニングし、24のスイープ構成と6つのアロケーションをフィットから保持します。
どのドメインも内部カバレッジが最適である。
訓練中のみの精度でカバーが崩壊することはない。
論文 参考訳(メタデータ) (2026-09-08T17:31:38Z) - One Ranking, Any Budget: Matryoshka Evidence-to-Context Frame Selection for Long-Video Understanding [43.953366792790625]
本稿では,再利用可能なスパースビデオインデックスを構築するトレーニングフリーフレームワークであるMatryoshka Evidence-to-Context (MEC) Frame Selectionを紹介する。
MECは、均一サンプリングよりも平均精度を3.77ポイント向上し、強い最先端セレクタにマッチし、エンドツーエンドの選択遅延を47.37-51.19%削減する。
論文 参考訳(メタデータ) (2026-08-06T07:47:15Z) - On the Limits of Machine-Learned Ranking for Modern Microarchitectural Policies [1.9175849355388896]
機械学習予測器はサイクルレベルのシミュレーションよりもはるかに高速にプロセッサ性能を推定する。
2つの設計形態でML予測器を4つ評価する。
論文 参考訳(メタデータ) (2026-08-02T06:55:43Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳(メタデータ) (2026-05-20T13:19:28Z) - Reinforcement Learning from Adversarial Preferences in Tabular MDPs [62.73758165845971]
我々は,敵対的嗜好を持つエピソードマルコフ決定プロセス(MDP)の新たな枠組みを導入する。
PbMDP では、標準的なエピソード MDP とは異なり、学習者は2つの候補アーム間の好みを観察する。
我々は、既知遷移の下で、T2/3$という残差境界を達成するアルゴリズムを開発する。
論文 参考訳(メタデータ) (2025-07-15T20:19:32Z) - Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。
本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
論文 参考訳(メタデータ) (2023-05-27T02:28:10Z) - Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive
Multi-Step Bootstrap [84.66885506098724]
本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。
AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。
また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
論文 参考訳(メタデータ) (2021-02-09T07:46:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。