論文の概要: Generalized Continuous-Time Models for Nesterov's Accelerated Gradient Methods

• arxiv url: http://arxiv.org/abs/2409.00913v1
• Date: Mon, 2 Sep 2024 02:56:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 08:21:03.160075
• Title: Generalized Continuous-Time Models for Nesterov's Accelerated Gradient Methods
• Title（参考訳）: ネステロフ加速勾配法の一般化連続時間モデル
• Authors: Chanwoong Park, Youngchae Cho, Insoon Yang,
• Abstract要約: 我々は、Nesterovの手法の幅広い範囲をカバーする一般化された連続時間モデルを提案する。 一般化されたモデルの収束率を特定し、特定の連続時間モデルに対する収束率を決定する必要をなくす。 我々は、一般化されたモデルに基づいてネステロフの手法を再起動するスキームを設計し、目的関数値の単調な減少を確実にすることを示す。
• 参考スコア（独自算出の注目度）: 9.176056742068814
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent research has indicated a substantial rise in interest in understanding Nesterov's accelerated gradient methods via their continuous-time models. However, most existing studies focus on specific classes of Nesterov's methods, which hinders the attainment of an in-depth understanding and a unified perspective. To address this deficit, we present generalized continuous-time models that cover a broad range of Nesterov's methods, including those previously studied under existing continuous-time frameworks. Our key contributions are as follows. First, we identify the convergence rates of the generalized models, eliminating the need to determine the convergence rate for any specific continuous-time model derived from them. Second, we show that six existing continuous-time models are special cases of our generalized models, thereby positioning our framework as a unifying tool for analyzing and understanding these models. Third, we design a restart scheme for Nesterov's methods based on our generalized models and show that it ensures a monotonic decrease in objective function values. Owing to the broad applicability of our models, this scheme can be used to a broader class of Nesterov's methods compared to the original restart scheme. Fourth, we uncover a connection between our generalized models and gradient flow in continuous time, showing that the accelerated convergence rates of our generalized models can be attributed to a time reparametrization in gradient flow. Numerical experiment results are provided to support our theoretical analyses and results.
• Abstract（参考訳）: 近年の研究では、ネステロフの加速勾配法を連続時間モデルで理解することへの関心が高まっている。 しかし、既存のほとんどの研究はネステロフの方法の特定のクラスに焦点を当てており、これは深い理解と統一された視点の達成を妨げる。 この欠点に対処するため、我々は、Nesterovの手法の幅広い範囲をカバーする一般化された連続時間モデルを提示した。 主な貢献は以下の通りである。 まず、一般化されたモデルの収束率を特定し、それらから派生した任意の特定の連続時間モデルに対する収束率を決定する必要をなくす。 第2に,既存の6つの連続時間モデルが一般化されたモデルの特別な場合であることを示し,これらのモデルを分析し,理解するための統一ツールとして,我々のフレームワークを位置づけた。 第三に、一般化されたモデルに基づくネステロフの手法の再起動方式を設計し、目的関数値の単調な減少を確実にすることを示す。 モデルの広範な適用性のため、このスキームは元の再起動スキームと比較して、より広範なNesterovの手法のクラスに使用することができる。 第4に、一般化されたモデルと連続時間における勾配流の関連を明らかにすることにより、一般化されたモデルの加速収束速度が勾配流の時間再パラメータ化に起因することを示す。 理論的解析と結果を支援するための数値実験結果を提供する。

関連論文リスト

• Enhancement of Approximation Spaces by the Use of Primals and Neighborhood [0.0]
  近隣と原始」からのインスピレーションを引き出す4つの新しい一般化された粗集合モデルを導入する。 我々は、現在のモデルは、粗い集合モデルに関連するほとんどすべての重要な側面を保存できると主張している。 また、我々の日常的な健康に関する問題に対して定義する新たな戦略が、より正確な発見をもたらすことも示している。
  論文  参考訳（メタデータ） (2024-10-23T18:49:13Z)
• Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning under A Unified View [73.73667848619343]
  UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2023-10-09T16:17:42Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Consistent Counterfactuals for Deep Models [25.1271020453651]
  ファクトファクトの例は、金融や医療診断といった重要な領域における機械学習モデルの予測を説明するために使用される。 本稿では,初期訓練条件に小さな変更を加えた深層ネットワークにおける実例に対するモデル予測の整合性について検討する。
  論文  参考訳（メタデータ） (2021-10-06T23:48:55Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Analysis and modeling to forecast in time series: a systematic review [0.0]
  本稿では,時系列解析とモデリングに特化した最先端の手法とモデルについて,最終予測をめざして検討する。 本総説は, 時系列分解, 定常試験, モデリング, 予測を網羅し, 全プロセスフローを包括的に把握することを目的としている。
  論文  参考訳（メタデータ） (2021-03-31T23:48:46Z)
• Time Adaptive Gaussian Model [0.913755431537592]
  我々のモデルは、時間的グラフィカルモデルの推論のための最先端手法の一般化である。 時間内にデータポイントをクラスタリングすることでパターン認識を行い、観察された変数間の確率的(そしておそらく因果関係)関係を見つける。
  論文  参考訳（メタデータ） (2021-02-02T00:28:14Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Intermittent Demand Forecasting with Renewal Processes [16.079036729678716]
  我々は、断続的な需要予測モデルを構築するための新しい統合されたフレームワークを導入する。 我々のフレームワークは、よく確立されたモデルベースのメソッドから離散時間更新プロセスへの拡張に基づいている。 様々なシナリオで予測精度を報告し,その有効性を比較検討した。
  論文  参考訳（メタデータ） (2020-10-04T11:32:54Z)
• From Static to Dynamic Node Embeddings [61.58641072424504]
  本稿では,時間的予測に基づくアプリケーションにグラフストリームデータを活用するための汎用フレームワークを提案する。 提案フレームワークは,適切なグラフ時系列表現を学習するための新しい手法を含む。 トップ3の時間モデルは常に新しい$epsilon$-graphの時系列表現を利用するモデルであることが分かりました。
  論文  参考訳（メタデータ） (2020-09-21T16:48:29Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。