論文の概要: The Benefits of Temporal Correlations: SGD Learns k-Juntas from Random Walks Efficiently

• arxiv url: http://arxiv.org/abs/2605.10237v1
• Date: Mon, 11 May 2026 09:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.679345
• Title: The Benefits of Temporal Correlations: SGD Learns k-Juntas from Random Walks Efficiently
• Title（参考訳）: 時間的相関の利点:ランダムウォークからk-Juntaを効果的に学習するSGD
• Authors: Elisabetta Cornacchia, Dan Mikulincer, Elchanan Mossel,
• Abstract要約: データ内の時間的相関は、勾配に基づく手法により、特定のスパース学習問題を効率的に学習できるようにする。 標準凸点損失を用いた大バッチ勾配法では,時間相関は同じ利点が得られないことを示す。
• 参考スコア（独自算出の注目度）: 17.896041616302657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how temporal correlations in the data can make certain sparse learning problems efficiently learnable by gradient-based methods. Our focus is on Boolean k-juntas, a canonical sparse learning problem known to pose barriers for gradient-based methods under independent uniform samples. We show that this picture changes when the samples are generated by a lazy random walk on the hypercube. In this setting, the temporal dependencies can be exploited by a two-layer ReLU network trained using stylized-SGD with a temporal-difference loss, which compares target and predicted increments across consecutive samples. For every fixed k, the resulting sample complexity is essentially linear in the ambient dimension d. By contrast, we show that for large-batch gradient methods using standard convex pointwise losses, temporal correlations do not provide the same advantage.
• Abstract（参考訳）: 本研究では,データ中の時間的相関が,勾配に基づく手法によってより効率的に学習可能なスパース学習問題を実現する方法について検討する。 我々の焦点は、標準スパース学習問題であるBoolean k-juntasである。 ハイパーキューブ上のランダムウォークによってサンプルが生成されると,この画像が変化することを示す。 この設定では、時間的依存を2層ReLUネットワークで利用することができ、連続サンプル間のターゲットと予測インクリメントを比較した時間的差分損失をスタイリングしたSGDを用いて訓練する。 すべての固定 k に対して、結果として生じるサンプルの複雑さは、本質的には周囲次元 d において線型である。 対照的に、標準凸点損失を用いた大バッチ勾配法では、時間的相関は同じ利点が得られないことを示す。

関連論文リスト

• InvarDiff: Cross-Scale Invariance Caching for Accelerated Diffusion Models [2.6735992385049663]
  InvarDiffは、時間ステップスケールと層スケールの相対時間的不変性を利用する、トレーニング不要な加速度法である。 実験によると、InvarDiffは標準品質の指標に最小限の影響を伴って、エンドツーエンドのスピードアップで2～3ドルを達成している。
  論文  参考訳（メタデータ） (2025-11-29T02:34:23Z)
• From Information to Generative Exponent: Learning Rate Induces Phase Transitions in SGD [24.623693376876602]
  本稿では,幅広い勾配に基づくアルゴリズムの学習率とサンプルの複雑性の関係を特徴付ける。 学習率の低い「情報指数系」から、学習率の大きい「生成指数系」に相転移があることを実証する。
  論文  参考訳（メタデータ） (2025-10-23T22:03:53Z)
• Learning Time-Series Representations by Hierarchical Uniformity-Tolerance Latent Balancing [31.568247637126035]
  TimeHUTは、コントラスト表現の階層的耐性バランスによって時系列表現を学習する新しい方法である。 本手法は, 組込み空間における一様性と耐久性の効果的なバランスを打つことを目的として, 強表現の学習に2つの異なる損失を用いる。
  論文  参考訳（メタデータ） (2025-10-02T04:30:13Z)
• LSCD: Lomb-Scargle Conditioned Diffusion for Time series Imputation [55.800319453296886]
  欠落または不規則なサンプルデータを持つ時系列は、機械学習において永続的な課題である。 我々は,不規則サンプルデータのパワースペクトルの信頼性の高い計算を可能にする,異なるLombiable-Scargle層を導入する。
  論文  参考訳（メタデータ） (2025-06-20T14:48:42Z)
• A theoretical framework for self-supervised contrastive learning for continuous dependent data [79.62732169706054]
  自己教師付き学習(SSL)は、特にコンピュータビジョンの分野で、表現を学習するための強力なアプローチとして登場した。 本稿では,サンプル間のアンフェマティック独立に適した対照的なSSLの理論的枠組みを提案する。 具体的には、標準のUEAベンチマークとUCRベンチマークでTS2Vecを上回り、それぞれ4.17$%と2.08$%の精度で改善した。
  論文  参考訳（メタデータ） (2025-06-11T14:23:47Z)
• Diffeomorphic Transformations for Time Series Analysis: An Efficient Approach to Nonlinear Warping [0.0]
  多くの分野にわたる時間データの拡散と普遍性は、類似性、分類、クラスタリング手法への関心を喚起した。 ユークリッドのような伝統的な距離測度は、時間に依存したデータの性質のため適していない。 この論文は、パラメトリックおよび微分同相のワープ変換を用いる新しい弾性アライメント法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T10:51:47Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Learning from time-dependent streaming data with online stochastic algorithms [7.283533791778357]
  本稿では,時間依存的,偏りのある推定値を用いたストリーミング環境での最適化について述べる。 グラディエントDescent(SGD)、ミニバッチSGD、時間変化のミニバッチSGD、およびPolyak-Ruppert平均値など、いくつかの一階法を解析する。
  論文  参考訳（メタデータ） (2022-05-25T07:53:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。