論文の概要: Benign Overfitting in Time Series Linear Models with Over-Parameterization

• arxiv url: http://arxiv.org/abs/2204.08369v3
• Date: Thu, 13 Mar 2025 10:19:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 02:59:28.466467
• Title: Benign Overfitting in Time Series Linear Models with Over-Parameterization
• Title（参考訳）: 過パラメータ化を考慮した時系列線形モデルにおけるベニグアオーバーフィッティング
• Authors: Shogo Nakakita, Masaaki Imaizumi,
• Abstract要約: 時系列データを用いて線形回帰モデルを解析する。 我々は推定器の過大なリスクの理論を発展させる。 リスク境界の収束率を示し、時間的共分散のコヒーレンスにも影響されていることを示す。
• 参考スコア（独自算出の注目度）: 6.9060054915724
• License:
• Abstract: The success of large-scale models in recent years has increased the importance of statistical models with numerous parameters. Several studies have analyzed over-parameterized linear models with high-dimensional data, which may not be sparse; however, existing results rely on the assumption of sample independence. In this study, we analyze a linear regression model with dependent time-series data in an over-parameterized setting. We consider an estimator using interpolation and develop a theory for the excess risk of the estimator. Then, we derive non-asymptotic risk bounds for the estimator for cases with dependent data. This analysis reveals that the coherence of the temporal covariance plays a key role; the risk bound is influenced by the product of temporal covariance matrices at different time steps. Moreover, we show the convergence rate of the risk bound and demonstrate that it is also influenced by the coherence of the temporal covariance. Finally, we provide several examples of specific dependent processes applicable to our setting.
• Abstract（参考訳）: 近年の大規模モデルの成功は、多くのパラメータを持つ統計モデルの重要性を高めている。 いくつかの研究は、高次元データを用いた過度パラメータ化線形モデルの解析を行っており、これはスパースではないかもしれないが、既存の結果はサンプル独立の仮定に依存している。 本研究では,時間系列データを用いた線形回帰モデルについて,過パラメータ設定で解析する。 補間を用いた推定器を考察し,推定器の過大なリスクに関する理論を立案する。 そして, 有意なデータを持つ症例に対する推定値に対する非漸近的リスク境界を導出する。 この分析により、時間的共分散のコヒーレンスが重要な役割を果たすことが明らかとなり、リスク境界は時間的共分散行列の積に影響される。 さらに、リスクバウンドの収束率を示し、時間的共分散のコヒーレンスにも影響されていることを示す。 最後に、我々の設定に当てはまる特定の依存プロセスの例をいくつか提示する。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• Wasserstein multivariate auto-regressive models for modeling distributional time series [0.0]
  本稿では,複数の確率測度の集合からなるデータの統計的解析に着目する。 時間依存確率測度をワッサーシュタイン空間のランダムな対象としてモデル化することにより、新しい自己回帰モデルを提案する。 このようなモデルの解の存在、特異性、定常性に関する結果が提供される。
  論文  参考訳（メタデータ） (2022-07-12T10:18:36Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• Generative Learning of Heterogeneous Tail Dependence [13.60514494665717]
  我々のモデルは、各次元のすべての対の間の不均一かつ非対称なテール依存を特徴とする。 パラメータを学習するための新しいモーメント学習アルゴリズムを考案する。 その結果、このフレームワークはコプラベースのベンチマークと比較すると、より優れた有限サンプル性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-11-26T05:34:31Z)
• Deep Switching Auto-Regressive Factorization:Application to Time Series Forecasting [16.934920617960085]
  DSARFは、時間依存重みと空間依存因子の間の積変数による高次元データを近似する。 DSARFは、深い切替ベクトル自己回帰因子化の観点から重みをパラメータ化するという最先端技術とは異なる。 本実験は, 最先端手法と比較して, DSARFの長期的, 短期的予測誤差において優れた性能を示すものである。
  論文  参考訳（メタデータ） (2020-09-10T20:15:59Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)
• Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows [8.859284959951204]
  時系列予測は科学的・工学的な問題の基本である。 深層学習法はこの問題に適している。 多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
  論文  参考訳（メタデータ） (2020-02-14T16:16:51Z)
• Predicting Multidimensional Data via Tensor Learning [0.0]
  本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。 モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。 提案モデルは,予測文献に存在するベンチマークモデルより優れている。
  論文  参考訳（メタデータ） (2020-02-11T11:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。