論文の概要: Benign Overfitting in Time Series Linear Model with Over-Parameterization

• arxiv url: http://arxiv.org/abs/2204.08369v1
• Date: Mon, 18 Apr 2022 15:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 18:05:29.220070
• Title: Benign Overfitting in Time Series Linear Model with Over-Parameterization
• Title（参考訳）: 過剰パラメータを持つ時系列線形モデルにおける良性過剰フィッティング
• Authors: Shogo Nakakita, Masaaki Imaizumi
• Abstract要約: 複数の依存型に基づく推定器の過大なリスクの理論を考案する。 短期記憶プロセスにおけるリスクの収束率は、独立データの場合と同一であることを示す。
• 参考スコア（独自算出の注目度）: 5.68558935178946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of large-scale models in recent years has increased the importance of statistical models with numerous parameters. Several studies have analyzed over-parameterized linear models with high-dimensional data that may not be sparse; however, existing results depend on the independent setting of samples. In this study, we analyze a linear regression model with dependent time series data under over-parameterization settings. We consider an estimator via interpolation and developed a theory for excess risk of the estimator under multiple dependence types. This theory can treat infinite-dimensional data without sparsity and handle long-memory processes in a unified manner. Moreover, we bound the risk in our theory via the integrated covariance and nondegeneracy of autocorrelation matrices. The results show that the convergence rate of risks with short-memory processes is identical to that of cases with independent data, while long-memory processes slow the convergence rate. We also present several examples of specific dependent processes that can be applied to our setting.
• Abstract（参考訳）: 近年の大規模モデルの成功は、多くのパラメータを持つ統計モデルの重要性を高めている。 いくつかの研究は、偏りのない高次元データを持つ超パラメータ線形モデルの解析を行っているが、既存の結果はサンプルの独立な設定に依存している。 本研究では,時系列データに依存する線形回帰モデルを過パラメータ設定下で解析する。 補間による推定器を考察し、複数の依存型の下で推定器の過大なリスクの理論を開発した。 この理論は空間性のない無限次元データを扱い、長期記憶プロセスを統一的に扱うことができる。 さらに, 自己相関行列の統合共分散と非退化を通じて, 理論のリスクを限定した。 その結果,短期記憶プロセスにおけるリスクの収束率は独立データの場合と同一であり,長期記憶プロセスは収束速度を遅くすることがわかった。 また、設定に適用できる特定の依存プロセスの例をいくつか提示する。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• Wasserstein multivariate auto-regressive models for modeling distributional time series [0.0]
  多変量分布時系列の統計解析のための新しい自己回帰モデルを提案する。 このようなモデルの解の存在、特異性、定常性に関する結果が提供される。 また,本手法を各国の年齢分布から得られたデータ集合に適用した。
  論文  参考訳（メタデータ） (2022-07-12T10:18:36Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• Generative Learning of Heterogeneous Tail Dependence [13.60514494665717]
  我々のモデルは、各次元のすべての対の間の不均一かつ非対称なテール依存を特徴とする。 パラメータを学習するための新しいモーメント学習アルゴリズムを考案する。 その結果、このフレームワークはコプラベースのベンチマークと比較すると、より優れた有限サンプル性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-11-26T05:34:31Z)
• Deep Switching Auto-Regressive Factorization:Application to Time Series Forecasting [16.934920617960085]
  DSARFは、時間依存重みと空間依存因子の間の積変数による高次元データを近似する。 DSARFは、深い切替ベクトル自己回帰因子化の観点から重みをパラメータ化するという最先端技術とは異なる。 本実験は, 最先端手法と比較して, DSARFの長期的, 短期的予測誤差において優れた性能を示すものである。
  論文  参考訳（メタデータ） (2020-09-10T20:15:59Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)
• Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows [8.859284959951204]
  時系列予測は科学的・工学的な問題の基本である。 深層学習法はこの問題に適している。 多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
  論文  参考訳（メタデータ） (2020-02-14T16:16:51Z)
• Predicting Multidimensional Data via Tensor Learning [0.0]
  本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。 モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。 提案モデルは,予測文献に存在するベンチマークモデルより優れている。
  論文  参考訳（メタデータ） (2020-02-11T11:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。