論文の概要: On the Effectiveness of the $z$-Transform Method in Quadratic Optimization

• arxiv url: http://arxiv.org/abs/2507.03404v1
• Date: Fri, 04 Jul 2025 09:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.719387
• Title: On the Effectiveness of the $z$-Transform Method in Quadratic Optimization
• Title（参考訳）: 二次最適化における$z$-transform法の有効性について
• Authors: Francis Bach,
• Abstract要約: シーケンスの$z$変換(英: $z$-transform)は、信号処理、制御理論、計算機科学、電気工学において用いられるツールである。 特に、$z$-transform 法は振る舞いに焦点をあて、テイラー展開の使用を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The $z$-transform of a sequence is a classical tool used within signal processing, control theory, computer science, and electrical engineering. It allows for studying sequences from their generating functions, with many operations that can be equivalently defined on the original sequence and its $z$-transform. In particular, the $z$-transform method focuses on asymptotic behaviors and allows the use of Taylor expansions. We present a sequence of results of increasing significance and difficulty for linear models and optimization algorithms, demonstrating the effectiveness and versatility of the $z$-transform method in deriving new asymptotic results. Starting from the simplest gradient descent iterations in an infinite-dimensional Hilbert space, we show how the spectral dimension characterizes the convergence behavior. We then extend the analysis to Nesterov acceleration, averaging techniques, and stochastic gradient descent.
• Abstract（参考訳）: シーケンスの$z$変換(英: $z$-transform)は、信号処理、制御理論、計算機科学、電気工学において使用される古典的なツールである。 生成関数からシーケンスを研究することができ、元のシーケンスとその$z$-transformに等価に定義できる多くの操作を持つ。 特に、$z$-transform 法は漸近的な振る舞いに焦点をあて、テイラー展開の使用を可能にする。 本稿では、線形モデルと最適化アルゴリズムの重要度と難易度を増大させ、新たな漸近的結果の導出における$z$-transform法の有効性と汎用性を示す。 無限次元ヒルベルト空間における最も単純な勾配降下反復から始め、スペクトル次元が収束挙動を特徴づけることを示す。 次に、解析をネステロフ加速度、平均化技術、確率勾配降下に拡張する。

関連論文リスト

• Gradient Methods with Online Scaling [19.218484733179356]
  オンライン学習による勾配に基づく手法の収束を加速する枠組みを提案する。 広範に使用される過勾配降下は勾配降下の収束により改善されることを示す。
  論文  参考訳（メタデータ） (2024-11-04T05:04:18Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Stochastic Zeroth order Descent with Structured Directions [10.604744518360464]
  我々は, 有限差分法であるStructured Zeroth Order Descent (SSZD)を導入・解析し, 集合 $lleq d 方向の勾配を近似し, $d は周囲空間の次元である。 凸凸に対して、すべての$c1/2$に対して$O( (d/l) k-c1/2$)$ 上の関数の収束はほぼ確実に証明する。
  論文  参考訳（メタデータ） (2022-06-10T14:00:06Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• A Closed Loop Gradient Descent Algorithm applied to Rosenbrock's function [0.0]
  本稿では,非拘束慣性減衰の勾配降下アルゴリズムとして応用できる勾配系の新しい適応手法を提案する。 また、リアプノフ安定性解析を用いて、連続数値時間バージョンの性能を実証する。
  論文  参考訳（メタデータ） (2021-08-29T17:25:24Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。