論文の概要: Problem-Parameter-Free Decentralized Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2510.24288v1
- Date: Tue, 28 Oct 2025 10:50:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:37.028341
- Title: Problem-Parameter-Free Decentralized Bilevel Optimization
- Title（参考訳）: 問題パラメータフリー分散二レベル最適化
- Authors: Zhiwei Zhai, Wenjing Yan, Ying-Jun Angela Zhang,
- Abstract要約: 分散型の双方向最適化は、大規模な機械学習問題を解決する上で重要な役割を担っているため、大きな注目を集めている。
本稿では,AdaSDBOを提案する。AdaSDBOは単一ループ構造を持つ分散二段階最適化のための完全問題フリーアルゴリズムである。
厳密な理論解析により、AdaSDBO が$widetildemathcalOleft(frac1Tright)$ の収束率を達成できることを確認した。
- 参考スコア（独自算出の注目度）: 31.15538292038612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized bilevel optimization has garnered significant attention due to its critical role in solving large-scale machine learning problems. However, existing methods often rely on prior knowledge of problem parameters-such as smoothness, convexity, or communication network topologies-to determine appropriate stepsizes. In practice, these problem parameters are typically unavailable, leading to substantial manual effort for hyperparameter tuning. In this paper, we propose AdaSDBO, a fully problem-parameter-free algorithm for decentralized bilevel optimization with a single-loop structure. AdaSDBO leverages adaptive stepsizes based on cumulative gradient norms to update all variables simultaneously, dynamically adjusting its progress and eliminating the need for problem-specific hyperparameter tuning. Through rigorous theoretical analysis, we establish that AdaSDBO achieves a convergence rate of $\widetilde{\mathcal{O}}\left(\frac{1}{T}\right)$, matching the performance of well-tuned state-of-the-art methods up to polylogarithmic factors. Extensive numerical experiments demonstrate that AdaSDBO delivers competitive performance compared to existing decentralized bilevel optimization methods while exhibiting remarkable robustness across diverse stepsize configurations.
- Abstract（参考訳）: 分散型の双方向最適化は、大規模な機械学習問題を解決する上で重要な役割を担っているため、大きな注目を集めている。
しかし、既存の手法は、スムーズ性、凸性、通信ネットワークトポロジといった問題パラメータの事前の知識に頼り、適切なステップサイズを決定する。
実際には、これらの問題パラメータは一般に利用できないため、ハイパーパラメータチューニングのかなりの手作業に繋がる。
本稿では,AdaSDBOを提案する。AdaSDBOは単一ループ構造を持つ分散二段階最適化のための完全問題パラメータフリーのアルゴリズムである。
AdaSDBOは累積勾配ノルムに基づく適応的なステップサイズを利用して、すべての変数を同時に更新し、その進捗を動的に調整し、問題固有のハイパーパラメータチューニングを不要にする。
厳密な理論解析により、AdaSDBO が $\widetilde{\mathcal{O}}\left(\frac{1}{T}\right)$ の収束率を達成できることが証明される。
大規模な数値実験により、AdaSDBOは、既存の分散二段階最適化手法と比較して、様々なステップサイズ構成において顕著な堅牢性を示しながら、競争性能を提供することを示した。
関連論文リスト
- Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes [3.246129789918632]
ディープニューラルネットワークのトレーニングは本質的に非最適化問題である。
勾配降下(SGD)のような標準的なアプローチでは、パラメータを同時に更新する必要がある。
そこで本研究では,SAMTを用いた列車最小化手法を提案する。
SAMTは、最先端のメソッドに比べて、パラメータ更新が少なく、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2025-08-06T08:23:38Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Tuning-Free Bilevel Optimization: New Algorithms and Convergence Analysis [21.932550214810533]
そこで我々はD-TFBOとS-TFBOという2つの新しいチューニング自由アルゴリズムを提案する。
D-TFBOは「累積勾配ノルムの逆」戦略によって適応的に調整された段数を持つ二重ループ構造を用いる。
S-TFBOはより単純な完全な単一ループ構造で、3つの変数を同時に更新する。
論文 参考訳（メタデータ） (2024-10-07T15:50:30Z) - A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。
これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。
本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳（メタデータ） (2022-08-25T14:25:16Z) - Value Function Based Difference-of-Convex Algorithm for Bilevel
Hyperparameter Selection Problems [5.940592509070767]
不確定性(VF-iDCA)を有する逐次収束値に基づく差分関数アルゴリズムを開発する。
実験の結果,提案したVF-iDCAはハイパーパラメータのチューニングに際し,優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2022-06-13T08:51:10Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。