論文の概要: Step-Size Decay and Structural Stagnation in Greedy Sparse Learning

• arxiv url: http://arxiv.org/abs/2603.07703v1
• Date: Sun, 08 Mar 2026 16:09:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.033589
• Title: Step-Size Decay and Structural Stagnation in Greedy Sparse Learning
• Title（参考訳）: グリーディスパース学習におけるステップサイズ減少と構造安定
• Authors: Pablo M. Berná,
• Abstract要約: グレディアルゴリズムは、スパース近似と、マッチング追従やブースティングのような段階的な学習方法の中心である。 ステップサイズが$m-$のPower-Relaxed Greedy Algorithmは、一般的なヒルベルト空間において$>1$のときに収束しない可能性があることが知られている。 制御された特徴コヒーレンスを持つ可逆回帰問題について検討し、残留ノルムの明示的な下界を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Greedy algorithms are central to sparse approximation and stage-wise learning methods such as matching pursuit and boosting. It is known that the Power-Relaxed Greedy Algorithm with step sizes $m^{-α}$ may fail to converge when $α>1$ in general Hilbert spaces. In this work, we revisit this phenomenon from a sparse learning perspective. We study realizable regression problems with controlled feature coherence and derive explicit lower bounds on the residual norm, showing that over-decaying step-size schedules induce structural stagnation even in low-dimensional sparse settings. Numerical experiments confirm the theoretical predictions and illustrate the role of feature coherence. Our results provide insight into step-size design in greedy sparse learning.
• Abstract（参考訳）: グレディアルゴリズムは、スパース近似と、マッチング追従やブースティングのような段階的な学習方法の中心である。 ステップサイズが$m^{-α}$のPower-Relaxed Greedy Algorithmは、一般的なヒルベルト空間において$α>1$のときに収束しない可能性があることが知られている。 本研究では,この現象をスパースラーニングの観点から再考する。 制御された特徴コヒーレンスと残留ノルムの明示的な下限を導出する可逆回帰問題について検討し,低次元スパース設定においても過度に遅延するステップサイズスケジュールが構造的停滞を引き起こすことを示した。 数値実験により理論的予測が確定し、特徴コヒーレンスの役割が説明される。 この結果から,難解なスパース学習におけるステップサイズ設計の知見が得られた。

関連論文リスト

• Learning Intersections of Two Margin Halfspaces under Factorizable Distributions [56.51474048985742]
  ハーフスペースの交叉学習は計算学習理論における中心的な問題である。 たった2つのハーフスペースであっても、学習が時間内に可能かどうかという大きな疑問が残る。 本稿ではCSQ硬度障壁を確実に回避する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-11-13T00:28:24Z)
• Asymptotically optimal reinforcement learning in Block Markov Decision Processes [0.22835610890984168]
  強化学習 (Reinforcement Learning, RL) は、指数関数的に大きな状態と行動空間を持つ実世界の多くの環境では実用的ではない。 クラスタリングを明示的に活用する残念な分析を行い、正確な潜在状態推定が学習を効果的に高速化することを示した。 このアルゴリズムは、クラスタリングの影響を受けやすいBMDPの大規模なクラスで$O(sqrtT+n2)$となる後悔を実現する。
  論文  参考訳（メタデータ） (2025-10-15T16:54:06Z)
• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)
• Inexact subgradient methods for semialgebraic functions [18.293072574300798]
  機械学習における近似勾配の広範囲な適用を動機として, 永続的な誤差を受ける部分エクサクティヴな加算法について検討する。 我々の分析は、消滅と定常的なステップサイズ体制の両方に対処する。
  論文  参考訳（メタデータ） (2024-04-30T12:47:42Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Understanding Gradient Regularization in Deep Learning: Efficient Finite-Difference Computation and Implicit Bias [15.739122088062793]
  グラディエント正規化(GR、Gradient regularization)は、トレーニング中のトレーニング損失の規範を罰する手法である。 勾配上昇段数と降下段数の両方からなる特定の有限差分計算がGRの計算コストを低減させることを示す。 有限差分GRは、平らなミニマを探索するための反復的な昇降ステップと降下ステップに基づいて、他のアルゴリズムと密接に関連していることを示す。
  論文  参考訳（メタデータ） (2022-10-06T07:12:54Z)
• Hidden Progress in Deep Learning: SGD Learns Parities Near the Computational Limit [36.17720004582283]
  この研究は、$k$sparseパリティを$n$bitsで学習するレンズを通してそのような探索を行う。 データセットのサイズと実行時間をスケールアップする際、ニューラルネットワークは驚くほどの位相遷移を示す。
  論文  参考訳（メタデータ） (2022-07-18T17:55:05Z)
• The Best of Both Worlds: Reinforcement Learning with Logarithmic Regret and Policy Switches [84.54669549718075]
  漸進的強化学習(RL)における後悔の最小化問題について検討する。 一般関数クラスと一般モデルクラスで学ぶことに集中する。 対数的後悔境界は$O(log T)$スイッチングコストのアルゴリズムによって実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T02:55:55Z)
• First-Order Regret in Reinforcement Learning with Linear Function Approximation: A Robust Estimation Approach [57.570201404222935]
  我々は,大規模状態空間を用いた強化学習において,$mathcalO(sqrtV_1star K)$として,後悔のスケーリングが得られることを示す。 この結果を得るためには,少なくとも2乗推定に基づく既存手法は不十分であることを示す。
  論文  参考訳（メタデータ） (2021-12-07T00:29:57Z)
• Adiabatic ground state preparation in an expanding lattice [0.0]
  我々は,2L$の格子上に量子多体基底状態波動関数を構築するために,$s$-sourceフレームワーク [Phys. Rev.B 93, 045127] にインスパイアされた数値アルゴリズムを実装し,特徴付ける。 ギャップが大きくて、興味深いことに、臨界点において大規模に建設がうまく行っていることが分かりました。
  論文  参考訳（メタデータ） (2020-02-22T01:18:48Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。