論文の概要: Your Hypergradient is Skewed: Antithetic Neumann Estimation for Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2611.15895v1
- Date: Wed, 11 Nov 2026 19:01:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.258423
- Title: Your Hypergradient is Skewed: Antithetic Neumann Estimation for Bilevel Optimization
- Title(参考訳): ハイパーグラディエントは、二レベル最適化のためのアンチセティックニューマン推定
- Abstract要約: 過次計算は内部のヘッセンの逆数を必要とし、典型的には truncated Neumann 級数によって推定される。
ノイマン級数(英語版)の積構造が第三の誤差源であるスキューテティックネス(英語版)を導入することを示す。
アンティテティック・ノイマン・エストル(Antithetic Neumann Estor)を導入し、それぞれのヘッセン標本と鏡付き標本をペアにし、その結果の逆ヘッセン推定を平均化する。
- 参考スコア(独自算出の注目度): 2.3052479658146328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bilevel optimization is a core tool in practical machine learning workflows, including hyperparameter tuning, data reweighting, robust learning, reinforcement learning, and imbalanced classification. Hypergradient computation requires the inverse of the inner Hessian, typically estimated via a truncated Neumann series. While existing analyses focus on bias and variance, we show that the product structure of the Neumann series introduces a third source of error: skewness. We identify that, unlike ordinary gradients, whose asymmetry is suppressed by mini-batch averaging, the Neumann estimator amplifies skewness across factors, with the third-moment error growing, under weak contraction, with truncation depth, inner condition number, and per-factor noise asymmetry. This arises in many practical settings such as corrupted labels, outliers, heterogeneous or class-imbalanced datasets. To address this, we introduce the Antithetic Neumann Estimator (ANE), which pairs each Hessian sample with a mirrored counterpart around a reference Hessian and averages the resulting inverse-Hessian estimates. With an exact reference, the antithetic product retains only even-order noise, eliminating all odd-order perturbation terms; with an approximate reference, the residual odd-order contribution is bounded linearly in the reference error. ANE requires only a modification of the Hessian vector step and combines with existing stochastic or variance-reduced bilevel methods. We instantiate ANE-SGD and ANE-VR, the latter adding recursive variance reduction. Across robust regression, data cleaning, offline reinforcement learning, and imbalanced classification, ANE-based methods improve on stochastic and variance-reduced baselines on every task (20 seeds each), lowering loss by 4 to 25% relative to the best baseline; the largest gains, on robust regression, are a 25% lower test loss and a 54% higher test r-squared.
- Abstract(参考訳): バイレベル最適化は、ハイパーパラメータチューニング、データ再重み付け、堅牢な学習、強化学習、不均衡な分類を含む、実践的な機械学習ワークフローにおける中核的なツールである。
過次計算は内部のヘッセンの逆数を必要とし、典型的には truncated Neumann 級数によって推定される。
既存の分析ではバイアスと分散に焦点が当てられているが、ノイマン級数の積構造が第3の誤差源である歪性を導入していることを示す。
最小バッチ平均化により非対称性が抑制される通常の勾配とは異なり、ノイマン推定器は第3モーメント誤差が弱収縮下で増大し、トランケーション深さ、内部条件数、および各要素ノイズ非対称性が増大する。
これは、破損したラベル、外れ値、不均一なデータセット、クラス不均衡なデータセットなど、多くの実践的な設定で発生する。
これを解決するために、アンティテティック・ノイマン推定器 (ANE) を導入する。これは、それぞれのヘッセン標本と、基準ヘッセンの周囲のミラー付き標本とをペアにし、その結果の逆・ヘッセン推定を平均化する。
正確な基準では、アンチテティック積は偶数次ノイズのみを保持し、全ての奇数次摂動項を排除し、近似基準では、残余奇数次寄与は基準誤差において線形に有界である。
ANE は Hessian ベクトルステップの変更のみを必要とし、既存の確率的あるいは分散還元二値法と組み合わせている。
我々はANE-SGDとANE-VRをインスタンス化する。
頑健な回帰、データクリーニング、オフライン強化学習、不均衡な分類を含むANEベースの手法は、各タスクにおける確率的および分散還元ベースラインの改善(20種毎)、最高のベースラインに対する損失の4~25%減少、ロバストな回帰における最大のゲインはテスト損失の25%減少、54%高いr-squaredである。
関連論文リスト
- PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers [58.87583368961845]
PosteriorBenchは、生成的逆解器の分布精度を評価するためのベンチマークである。
ダーシーフローの逆転、ポアソン源の回復、炭素捕獲と貯蔵、光輸送物質推論の4つの物理に基づく逆問題を評価する。
論文 参考訳(メタデータ) (2026-09-17T17:54:12Z) - Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction [9.294518380204154]
勾配降下(SGD)アルゴリズムのオンライン推論と共分散推定について検討する。
提案手法は,既存のヘッセン自由代替品よりも優れた収差率$n(-1)/2 sqrtlog n$を達成するために,バイアス低減手法を用いている。
論文 参考訳(メタデータ) (2026-04-23T01:48:08Z) - CAIRO: Decoupling Order from Scale in Regression [13.755937210012883]
回帰を2つの異なる段階に分離する枠組みを提案する。
第1段階では,スケール不変ランキングの損失を最小限に抑えることで,スコアリング関数を学習する。
第2に,等速回帰による目標スケールの復元を行う。
論文 参考訳(メタデータ) (2026-02-16T03:50:05Z) - Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
勾配だけでヘッセンが明らかになることを示す。
我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
論文 参考訳(メタデータ) (2026-01-26T14:50:16Z) - Residual subspace evolution strategies for nonlinear inverse problems [1.14219428942199]
逆の問題は工学や科学に及ぼし、騒々しく、微分不可能で、高価な残効評価は、ヤコビアンベースの解法を日常的に破る。
本稿では、ガウスプローブを現在の勾配付近に描画する微分自由解法である残留部分空間進化戦略(RSES)を導入し、それらの方向に沿って残差がどのように変化するかを記録し、最小二乗法でプローブを再結合して最適な更新を生成する。
論文 参考訳(メタデータ) (2025-12-11T06:20:13Z) - Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。
スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
論文 参考訳(メタデータ) (2025-03-11T01:45:42Z) - Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。
学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。
また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
論文 参考訳(メタデータ) (2025-02-14T03:26:57Z) - Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳(メタデータ) (2024-11-21T10:26:17Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient
Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。
これは平均二乗誤差を確実に減少させる。
これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文 参考訳(メタデータ) (2020-10-09T22:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。