論文の概要: Gradient Descent with Stochastic Subspaces via Persistence of Memory

• arxiv url: http://arxiv.org/abs/2609.18416v1
• Date: Wed, 16 Sep 2026 10:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.749094
• Title: Gradient Descent with Stochastic Subspaces via Persistence of Memory
• Title（参考訳）: 記憶の持続性による確率的部分空間のグラディエントDescent
• Abstract要約: 本稿では,ランダムな部分空間法を大幅に拡張し,改良するための「メモリの永続化」技術を紹介する。 スパーシリティを具現化した最適化問題やミニバッチ構造といった機械学習の重要な設定において、ガイダンスベクトルが効果的で計算コストのかかる方法で得られることを示す。
• 参考スコア（独自算出の注目度）: 12.053053653533835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic subspace methods have gained popularity as gradient descent based techniques for large scale optimisation problems, especially in distributed settings. In this paper, we introduce the technique of "persistence of memory" to greatly extend and improve the random subspace methods. To this end, we leverage a vector that is only weakly correlated with the gradient in order to provide a guiding structure to the generative process of the random subspace along which the descent is going to take place. This guidance vector may be fixed for a large number of iterations, only to be refreshed at wide intervals (on whose size we can provide guarantees in terms of problem parameters). In important machine learning settings, such as optimisation problems embodying sparsity or a minibatch structure, we show that the guidance vector can be obtained in an effective and computationally inexpensive manner by leveraging the structured properties of the problem. En route, we establish to our knowledge the first theoretical analysis of classical SSD methods for sparse functions. In a local neighbourhood of the optimum, we demonstrate an alignment phenomenon of our gradient estimates with a low-lying eigenvector of the Hessian, allowing a once-for-all computation of the guidance vector which renders the method computationally favourable even in scenarios with unstructured objectives.
• Abstract（参考訳）: 確率的部分空間法は、特に分散環境での大規模最適化問題に対する勾配降下に基づく手法として人気を博している。 本稿では,乱数部分空間法を大幅に拡張し,改良するための「メモリの永続化」技術を紹介する。 この目的のために、勾配と弱相関しか持たないベクトルを利用して、降下が起こるランダム部分空間の生成過程に導出構造を与える。 この誘導ベクトルは、多数の反復に対して固定され、広い間隔でしかリフレッシュできない(問題パラメータの観点で保証できるサイズで)。 スパーシリティやミニバッチ構造を具現化した最適化問題などの重要な機械学習環境において,問題の構造的特性を活用することにより,ガイダンスベクトルを効果的かつ安価に得ることができることを示す。 そこで我々は,スパース関数の古典的SSD法の最初の理論的解析を行った。 最適値の局所的近傍では、勾配推定のアライメント現象をヘッセンの低次固有ベクトルで示し、非構造化対象のシナリオでも計算に有利な手法を導出ベクトルの1対1の計算を可能にする。

関連論文リスト

• Fitting Unknown Number of Hyperplanes with Manifold Optimization [57.48093263119306]
  未知数の線形平面をデータに適合させることは、機械学習の根本的な課題である。 既存のアプローチはしばしば最適な最適化に苦しむか、幾何的整合性に欠ける。
  論文  参考訳（メタデータ） (2026-05-27T14:02:20Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Deep Learning for Subspace Regression [42.94349364701736]
  そのようなスキームを適用する実践的な方法は、計算的に要求されるオフラインステージにおいて、選択されたパラメータセットのサブスペースを計算することである。 現実的な問題に対して、パラメータの空間は高次元であり、古典的な戦略は実現不可能か信頼できない。 本稿では, 回帰問題を緩和し, 部分空間データに適したいくつかの損失関数を導入し, ニューラルネットワークを高次元目標関数の近似として用いることを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:56:03Z)
• l1-norm regularized l1-norm best-fit lines [3.0963566281269594]
  簡単な比率とソート手法を用いた新しいフィッティング法を提案する。 提案アルゴリズムは、O$(n2 m log n)$の最悪の時間複雑性を示し、ある場合にはスパース部分空間に対する大域的最適性を達成する。
  論文  参考訳（メタデータ） (2024-02-26T16:30:58Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
  本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。 これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T00:50:30Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。