論文の概要: Benign Overfitting in Time Series Linear Models with Over-Parameterization

• arxiv url: http://arxiv.org/abs/2204.08369v3
• Date: Thu, 13 Mar 2025 10:19:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 00:56:40.263253
• Title: Benign Overfitting in Time Series Linear Models with Over-Parameterization
• Title（参考訳）: 過パラメータ化を考慮した時系列線形モデルにおけるベニグアオーバーフィッティング
• Authors: Shogo Nakakita, Masaaki Imaizumi,
• Abstract要約: 時系列データを用いて線形回帰モデルを解析する。 我々は推定器の過大なリスクの理論を発展させる。 リスク境界の収束率を示し、時間的共分散のコヒーレンスにも影響されていることを示す。
• 参考スコア（独自算出の注目度）: 6.9060054915724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of large-scale models in recent years has increased the importance of statistical models with numerous parameters. Several studies have analyzed over-parameterized linear models with high-dimensional data, which may not be sparse; however, existing results rely on the assumption of sample independence. In this study, we analyze a linear regression model with dependent time-series data in an over-parameterized setting. We consider an estimator using interpolation and develop a theory for the excess risk of the estimator. Then, we derive non-asymptotic risk bounds for the estimator for cases with dependent data. This analysis reveals that the coherence of the temporal covariance plays a key role; the risk bound is influenced by the product of temporal covariance matrices at different time steps. Moreover, we show the convergence rate of the risk bound and demonstrate that it is also influenced by the coherence of the temporal covariance. Finally, we provide several examples of specific dependent processes applicable to our setting.
• Abstract（参考訳）: 近年の大規模モデルの成功は、多くのパラメータを持つ統計モデルの重要性を高めている。 いくつかの研究は、高次元データを用いた過度パラメータ化線形モデルの解析を行っており、これはスパースではないかもしれないが、既存の結果はサンプル独立の仮定に依存している。 本研究では,時間系列データを用いた線形回帰モデルについて,過パラメータ設定で解析する。 補間を用いた推定器を考察し,推定器の過大なリスクに関する理論を立案する。 そして, 有意なデータを持つ症例に対する推定値に対する非漸近的リスク境界を導出する。 この分析により、時間的共分散のコヒーレンスが重要な役割を果たすことが明らかとなり、リスク境界は時間的共分散行列の積に影響される。 さらに、リスクバウンドの収束率を示し、時間的共分散のコヒーレンスにも影響されていることを示す。 最後に、我々の設定に当てはまる特定の依存プロセスの例をいくつか提示する。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Precise analysis of ridge interpolators under heavy correlations -- a Random Duality Theory view [0.0]
  EmphRandom Duality Theory (RDT) を用いて, 関心量の最適化に係わるすべての推定器の正確なクローズドな形状のキャラクタリゼーションが得られることを示す。
  論文  参考訳（メタデータ） (2024-06-13T14:56:52Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
  線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。 ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。 また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
  論文  参考訳（メタデータ） (2024-03-29T14:24:49Z)
• High Dimensional Time Series Regression Models: Applications to Statistical Learning Methods [0.0]
  これらの講義ノートは、既存の方法論の概要と、高次元時系列回帰モデルによる推定と推論の最近の発展について述べる。 まず、共分散行列構造および依存時系列列に関連する高次元依存データに対する主極限理論結果を示す。
  論文  参考訳（メタデータ） (2023-08-27T15:53:31Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• Wasserstein multivariate auto-regressive models for modeling distributional time series [0.0]
  多変量分布時系列の統計解析のための新しい自己回帰モデルを提案する。 このようなモデルの解の存在、特異性、定常性に関する結果が提供される。 また,本手法を各国の年齢分布から得られたデータ集合に適用した。
  論文  参考訳（メタデータ） (2022-07-12T10:18:36Z)
• Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations [84.42837346400151]
  反現実的な結果を予測することは、パーソナライズされたヘルスケアをアンロックする可能性がある。 既存の因果推論アプローチでは、観察と治療決定の間の通常の離散時間間隔が考慮されている。 そこで本研究では,腫瘍増殖モデルに基づく制御可能なシミュレーション環境を提案する。
  論文  参考訳（メタデータ） (2022-06-16T17:15:15Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting [98.57851612518758]
  確率的時系列予測は、その歴史に基づいて将来の分布を推定する。 本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。 実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
  論文  参考訳（メタデータ） (2021-01-31T06:49:33Z)
• Generative Learning of Heterogeneous Tail Dependence [13.60514494665717]
  我々のモデルは、各次元のすべての対の間の不均一かつ非対称なテール依存を特徴とする。 パラメータを学習するための新しいモーメント学習アルゴリズムを考案する。 その結果、このフレームワークはコプラベースのベンチマークと比較すると、より優れた有限サンプル性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-11-26T05:34:31Z)
• Deep Switching Auto-Regressive Factorization:Application to Time Series Forecasting [16.934920617960085]
  DSARFは、時間依存重みと空間依存因子の間の積変数による高次元データを近似する。 DSARFは、深い切替ベクトル自己回帰因子化の観点から重みをパラメータ化するという最先端技術とは異なる。 本実験は, 最先端手法と比較して, DSARFの長期的, 短期的予測誤差において優れた性能を示すものである。
  論文  参考訳（メタデータ） (2020-09-10T20:15:59Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)
• Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows [8.859284959951204]
  時系列予測は科学的・工学的な問題の基本である。 深層学習法はこの問題に適している。 多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
  論文  参考訳（メタデータ） (2020-02-14T16:16:51Z)
• Predicting Multidimensional Data via Tensor Learning [0.0]
  本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。 モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。 提案モデルは,予測文献に存在するベンチマークモデルより優れている。
  論文  参考訳（メタデータ） (2020-02-11T11:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。