論文の概要: Select-then-differentiate: Solving Bilevel Optimization with Manifold Lower-level Solution Sets
- arxiv url: http://arxiv.org/abs/2605.09209v1
- Date: Sat, 09 May 2026 23:00:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.113828
- Title: Select-then-differentiate: Solving Bilevel Optimization with Manifold Lower-level Solution Sets
- Title（参考訳）: Select-then-differentiate: Manifold lower-level Solution Sets による双レベル最適化の解法
- Abstract要約: 楽観的な双レベル最適化について検討し、低レベル問題には非可解な最小値多様体が存在する。
楽観的な選択の特異性は十分であることを示す。
これにより、明示的な擬逆法に基づく超次数式が得られる。
- 参考スコア（独自算出の注目度）: 43.989426547201965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study optimistic bilevel optimization when the lower-level problem has a non-isolated manifold of minimizers. In this setting, the hyper-objective may be non-differentiable because the upper-level criterion must choose among multiple lower-level solutions. Under a local Polyak--Łojasiewicz (PŁ) condition, we show that differentiability does not require the lower-level solution set to be a singleton: uniqueness of the optimistic selection is sufficient. This yields an explicit pseudoinverse-based hyper-gradient formula extending the classical singleton-minimizer result. We further characterize the regularity of the hyper-objective: non-degeneracy of the selected minimizer along the solution manifold yields local smoothness, while failure of uniqueness can create many non-differentiable points and failure of non-degeneracy can destroy all positive Hölder regularity of the hyper-gradient. Motivated by this theory, we propose HG-MS, a select-then-differentiate method combining explicit optimistic selection with efficient pseudoinverse-based hyper-gradient computation. Despite the nonconvex nature of optimistic selection over the lower-level solution manifold, we show that HG-MS converges to a stationary point of the optimistic objective with complexity governed by the intrinsic dimension of the solution manifold rather than its ambient dimension. Empirically, we test a practical variant of HG-MS for matched-budget LLM source reweighting. This variant preserves the select-then-differentiate principle and obtains the best GSM8K/MATH scores across the tested backbones, along with competitive or best MT-Bench instruction-following results.
- Abstract（参考訳）: 低レベル問題に非孤立な最小値多様体が存在する場合、楽観的な双レベル最適化について検討する。
この設定では、超対象は、上層の基準が複数の下層の解の中から選ばなければならないため、微分不可能である。
局所的ポリアック-イオジャシエヴィチ条件の下では、微分可能性は低レベルの解集合をシングルトンにする必要はなく、楽観的な選択の特異性は十分であることを示す。
これにより、古典的なシングルトン最小化結果を拡張する明示的な擬逆法に基づく超次数式が得られる。
さらに、超対象の正則性を特徴づける: 解多様体に沿った選択された最小化の非退化は局所滑らか性をもたらすが、一意性の失敗は多くの非微分可能点を生じさせ、非退化の失敗は超次階数のすべての正のヘルダー正則性を破壊する。
この理論に触発されたHG-MSは、楽観的楽観的選択と効率的な擬似逆ベース超勾配計算を組み合わせた選択式である。
低階解多様体に対する楽観的選択の非凸性にもかかわらず、HG-MS はその周囲次元ではなく、解多様体の内在次元によって支配される複雑性と楽観的目的の定常点に収束することを示す。
実験により,HG-MSの実用版を実測し,LLM音源再重み付け実験を行った。
この変種はセレクトthen-differentiateの原理を保ち、テストされたバックボーン全体で最高のGSM8K/MATHスコアと、競争的または最良のMT-Bench命令追従結果を得る。
関連論文リスト
- A Hybrid Classical-Quantum Approach for Multi-Constrained Location Optimization Problem [0.19573380763700712]
最大被覆位置問題(MCLP)は、全被覆量を最大化する最適配置を決定することを目的としている。
これは、適切なカバレッジを保証するが、インスタンスサイズが大きくなるにつれて、ソリューション空間を探索する際の複雑さを著しく増大させる、等式制約と不等式制約の両方によって特徴づけられる。
本研究では, MCLPを擬似非拘束バイナリ最適化モデルとして定式化し, 溶液品質において制約埋め込みが重要な役割を担っている。
論文 参考訳（メタデータ） (2026-07-08T19:44:55Z) - Multinoulli Extension: A Lossless Continuous Relaxation for Partition-Constrained Subset Selection [60.07018090570548]
我々はパラメータフリーで、歪んだ局所探索法と同じ近似保証を実現できるMultinoulliSCGという新しいアルゴリズムを導入する。
また、分割制約に関する未探索オンラインサブセット選択問題に対して、Multinoulli-CGとMultinoulli-GAGAという2つの新しいオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-23T02:30:01Z) - A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。
現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。
本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T07:24:11Z) - WHOMP: Optimizing Randomized Controlled Trials via Wasserstein Homogeneity [3.05179671246628]
我々は、$textitWasserstein Homogeneity Partition$ (WHOMP)と呼ばれる新しいパーティショニング手法を導入する。
WHOMPは、しばしば不均衡なグループ分割や分割によって生じるタイプIとタイプIIのエラーを最適に最小化する。
論文 参考訳（メタデータ） (2024-09-27T07:38:47Z) - Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [17.384717824118255]
この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。
これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
論文 参考訳（メタデータ） (2024-02-14T10:48:00Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳（メタデータ） (2023-02-02T10:37:23Z) - A Nature-Inspired Feature Selection Approach based on Hypercomplex
Information [4.733222697135021]
超複合機能選択にメタヒューリスティック最適化フレームワークを導入する。
目的とする超複素特徴選択は、いくつかのメタヒューリスティックアルゴリズムと超複素表現に対してテストされる。
提案手法によって得られた良い結果は,特徴選択研究において有望なツールとなる。
論文 参考訳（メタデータ） (2021-01-14T15:05:13Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳（メタデータ） (2020-10-31T21:35:42Z) - Halpern Iteration for Near-Optimal and Parameter-Free Monotone Inclusion
and Strong Solutions to Variational Inequalities [14.848525762485872]
非拡張写像、単調リプシッツ作用素、近位写像の間の接続を利用して、単調包含問題に対する準最適解を得る。
これらの結果は、変分不等式問題に対する強い解の近似、凸凸凹 min-max 最適化問題の近似、および min-max 最適化問題における勾配のノルムの最小化について、ほぼ最適に保証される。
論文 参考訳（メタデータ） (2020-02-20T17:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。