論文の概要: Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization

• arxiv url: http://arxiv.org/abs/2212.13556v1
• Date: Tue, 27 Dec 2022 17:16:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:44:26.183380
• Title: Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization
• Title（参考訳）: 確率凸最適化における勾配差分法による情報理論一般化境界の制限
• Authors: Mahdi Haghifam, Borja Rodr\'iguez-G\'alvez, Ragnar Thobaben, Mikael Skoglund, Daniel M. Roy, Gintare Karolina Dziugaite
• Abstract要約: 凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。 勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。 以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 48.12845778927164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To date, no "information-theoretic" frameworks for reasoning about generalization error have been shown to establish minimax rates for gradient descent in the setting of stochastic convex optimization. In this work, we consider the prospect of establishing such rates via several existing information-theoretic frameworks: input-output mutual information bounds, conditional mutual information bounds and variants, PAC-Bayes bounds, and recent conditional variants thereof. We prove that none of these bounds are able to establish minimax rates. We then consider a common tactic employed in studying gradient methods, whereby the final iterate is corrupted by Gaussian noise, producing a noisy "surrogate" algorithm. We prove that minimax rates cannot be established via the analysis of such surrogates. Our results suggest that new ideas are required to analyze gradient descent using information-theoretic techniques.
• Abstract（参考訳）: 現在までに、一般化誤差に関する推論のための「情報理論」フレームワークは、確率凸最適化の設定において勾配降下の最小値速度を確立することが示されていない。 本研究では,入力出力相互情報境界,条件付き相互情報境界および変分,PAC-Bayes境界,および最近の条件付き変分など,既存の情報理論フレームワークを通じてそのようなレートを確立する可能性を検討する。 これらの境界はいずれもミニマックスレートを確立できないことを証明します。 グラデーション法の研究で用いられる一般的な手法を考えると、最終イテレートはガウス雑音によって崩壊し、ノイズの多い「サロゲート」アルゴリズムを生成する。 このようなサロゲートの解析によりミニマックスレートを確立できないことを示す。 以上より,情報理論的手法を用いて勾配降下解析を行うには,新しいアイデアが必要であることが示唆された。

関連論文リスト

• A KL-based Analysis Framework with Applications to Non-Descent Optimization Methods [5.779838187603272]
  クルディカ・ロジャシエヴィチ特性に基づく非発散型シナリオにおける非発散型最適化手法の新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-06-04T12:49:46Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Robust empirical risk minimization via Newton's method [9.797319790710711]
  実験的リスク最小化のためのニュートン法の新しい変種について検討した。 目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。 また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:54:54Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Incremental Without Replacement Sampling in Nonconvex Optimization [0.0]
  経験的リスクに対する最小限の分解法は、一般に近似設定で分析される。 一方、このような手法の現代的な実装は漸進的であり、それらは置換せずにサンプリングに依存しており、利用可能な分析は極めて少ない。 我々は、多変数な漸進勾配スキームを解析することにより、後者の変分に対する収束保証を提供する。
  論文  参考訳（メタデータ） (2020-07-15T09:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。