論文の概要: Interactive Learning of Single-Index Models via Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2602.17876v1
• Date: Thu, 19 Feb 2026 22:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.170994
• Title: Interactive Learning of Single-Index Models via Stochastic Gradient Descent
• Title（参考訳）: 確率勾配Descentによる単一インデックスモデルの対話的学習
• Authors: Nived Rajaraman, Yanjun Han,
• Abstract要約: 勾配降下 (SGD) は高次元最適化のための基礎アルゴリズムである。 近年の理論的進歩は、SGDが高次元非線形モデルにおいて特徴学習を実現する方法について深く理解している。
• 参考スコア（独自算出の注目度）: 15.788049354466715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient descent (SGD) is a cornerstone algorithm for high-dimensional optimization, renowned for its empirical successes. Recent theoretical advances have provided a deep understanding of how SGD enables feature learning in high-dimensional nonlinear models, most notably the \textit{single-index model} with i.i.d. data. In this work, we study the sequential learning problem for single-index models, also known as generalized linear bandits or ridge bandits, where SGD is a simple and natural solution, yet its learning dynamics remain largely unexplored. We show that, similar to the optimal interactive learner, SGD undergoes a distinct ``burn-in'' phase before entering the ``learning'' phase in this setting. Moreover, with an appropriately chosen learning rate schedule, a single SGD procedure simultaneously achieves near-optimal (or best-known) sample complexity and regret guarantees across both phases, for a broad class of link functions. Our results demonstrate that SGD remains highly competitive for learning single-index models under adaptive data.
• Abstract（参考訳）: 確率勾配降下(SGD)は高次元最適化のための基礎的なアルゴリズムであり、経験的成功で有名である。 最近の理論的進歩は、SGDが高次元非線形モデルにおいてどのように特徴学習を可能にするかを深く理解している。 本研究では,SGD が単純で自然な解であるが,学習力学は未解明のままである単一インデックスモデルの逐次学習問題について検討する。 最適対話型学習器と同様に,SGDは,この設定で「学習」フェーズに入る前に,個別の「バーンイン」フェーズを行う。 さらに、適切に選択された学習率のスケジュールで、1つのSGDプロシージャは、広範囲のリンク関数に対して、両方のフェーズにわたって、ほぼ最適(または最もよく知られた)サンプルの複雑さと後悔の保証を同時に達成する。 以上の結果から,SGDは適応データに基づく単一インデックスモデルの学習に高い競争力を持つことが明らかとなった。

関連論文リスト

• From Information to Generative Exponent: Learning Rate Induces Phase Transitions in SGD [24.623693376876602]
  本稿では,幅広い勾配に基づくアルゴリズムの学習率とサンプルの複雑性の関係を特徴付ける。 学習率の低い「情報指数系」から、学習率の大きい「生成指数系」に相転移があることを実証する。
  論文  参考訳（メタデータ） (2025-10-23T22:03:53Z)
• Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation [3.6185342807265415]
  厳密な理論用語でSGD法の成功と限界を説明することは、研究のオープンな問題である。 本研究では,最適化問題の大域的最小化に収束しない確率の高いSGD手法の大規模なクラスについて検証する。 この研究の一般的な非収束結果は、通常のバニラ標準SGD法だけでなく、多くの加速および適応SGD法にも適用される。
  論文  参考訳（メタデータ） (2024-10-14T14:11:37Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization [4.7256945641654164]
  勾配降下(SGD)は機械学習、特にニューラルネットワークトレーニングにおいて広く使われているアルゴリズムである。 正準2次最適化や線形回帰のSGDに関する最近の研究は、適切な高次元設定で十分に一般化できることを示している。 本稿では,ステップサイズスケジュールと運動量指数の2つの基本成分を持つSGDについて検討する。
  論文  参考訳（メタデータ） (2024-09-15T14:20:03Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
  そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。 提案手法の有効性を検証し,数値実験による理論的研究を検証する。
  論文  参考訳（メタデータ） (2022-01-26T22:26:01Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)
• Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models [19.07718284287928]
  推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。 本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。 結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
  論文  参考訳（メタデータ） (2020-05-28T13:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。