論文の概要: Adaptive Gradient-Based Methods for a Broader Class of Optimization Problems under Performative Prediction
- arxiv url: http://arxiv.org/abs/2607.26562v1
- Date: Wed, 29 Jul 2026 07:33:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.56861
- Title: Adaptive Gradient-Based Methods for a Broader Class of Optimization Problems under Performative Prediction
- Title(参考訳): 適応的勾配法による適応予測に基づく最適化問題の広範化
- Authors: Hiroki Hamaguchi, Yuya Hikima, Hiroshi Sawada, Akiko Takeda,
- Abstract要約: 本研究では,モデル展開が将来のデータ分布に影響を与える性能予測の下での最適化について検討する。
そこで本研究では,収束保証を用いた勾配に基づく最適化手法を提案する。
数値実験により,提案アルゴリズムは既存のアルゴリズムよりも高速かつ一貫した収束を示した。
- 参考スコア(独自算出の注目度): 11.599237125850694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study optimization under performative prediction, where deploying a model affects the future data distribution. For this setting, several gradient-based approaches have been proposed. However, they typically assume specific data distributions or loss functions, which limit their practical applicability. To overcome these limitations, we propose a gradient-based optimization method with convergence guarantees under substantially weaker assumptions. Our method explicitly estimates the induced distribution shift through finite differences. It enables higher-dimensional optimization across broader classes of loss functions and data distributions. We also propose a practical variant that reduces the number of samples required. Numerical experiments demonstrate that our proposed algorithms converge faster and more consistently than existing ones.
- Abstract(参考訳): 本研究では,モデル展開が将来のデータ分布に影響を与える性能予測の下での最適化について検討する。
この設定のために、勾配に基づくいくつかのアプローチが提案されている。
しかし、それらは一般的に特定のデータ分散や損失関数を仮定し、実用性を制限する。
これらの制約を克服するために, 収束保証付き勾配に基づく最適化手法を提案する。
本手法は,有限差分による誘導分布シフトを明示的に推定する。
これにより、より広範な損失関数とデータ分布のクラスをまたいだ高次元の最適化が可能になる。
また,本研究では,必要なサンプル数を削減できる実用的変種を提案する。
数値実験により,提案アルゴリズムは既存のアルゴリズムよりも高速かつ一貫した収束を示した。
関連論文リスト
- On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳(メタデータ) (2025-10-22T18:25:43Z) - A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning [24.111048817721592]
フェデレートラーニングは分散勾配降下技術に大きく依存している。
勾配情報が得られない状況では、勾配をゼロ次情報から推定する必要がある。
勾配推定法を改善するための非等方的サンプリング法を提案する。
論文 参考訳(メタデータ) (2024-09-24T10:36:40Z) - Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳(メタデータ) (2024-04-16T20:01:10Z) - Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints [55.39203337683045]
拡散モデルを用いてデータ多様体内で最適化を行う。
目的関数の微分可能性に応じて,2つの異なるサンプリング手法を提案する。
提案手法は,従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-02-28T03:09:12Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-06-20T15:07:37Z) - Variational Sequential Optimal Experimental Design using Reinforcement Learning [0.0]
対OEDは、変分後部近似を用いた一点報酬の定式化を採用し、期待される情報ゲインに対する証明可能な低いバウンドを提供する。
我々は,既存の逐次実験設計アルゴリズムと比較して,サンプル効率が優れていることを示しながら,様々な工学・科学応用における vsOED の実証を行った。
論文 参考訳(メタデータ) (2023-06-17T21:47:19Z) - Multistage Stochastic Optimization via Kernels [3.7565501074323224]
我々は,多段階最適化問題に対する非パラメトリック,データ駆動,トラクタブルアプローチを開発した。
本稿では,提案手法が最適に近い平均性能で決定ルールを生成することを示す。
論文 参考訳(メタデータ) (2023-03-11T23:19:32Z) - Quantized Variational Inference [6.09170287691728]
ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。
量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
論文 参考訳(メタデータ) (2020-11-04T13:22:50Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。