Fugu-MT 論文翻訳(概要): The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

論文の概要: The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

arxiv url: http://arxiv.org/abs/2607.24041v1
Date: Mon, 27 Jul 2026 06:30:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.329729
Title: The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression
Title（参考訳）: 過パラメータ回帰における設計行列のゼロパターン
Abstract要約: 共分散行列と依存の縮退が多重降下を引き起こすことを示す。両部グラフの最大マッチング証明とDulmage--Mendelsohn分解は、分散が特異になる構成を識別することを示す。
参考スコア（独自算出の注目度）: 4.064516150252115
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Over-parameterized linear regression has been widely studied over the last decade. However, most existing works assume that the covariates are independent and that their covariance matrices are non-degenerate. In this paper, we relax both assumptions and derive deterministic equivalents for the prediction risk in a vanishing-ridge regime. We show that degeneracy of the covariance matrices and dependence can lead to multiple descent, and characterize where the corresponding peaks can occur. Our proofs use a novel graph representation of the variance profile. We show that maximum matchings and the Dulmage--Mendelsohn decomposition of the associated bipartite graph identify the configurations at which the variance becomes singular.
Abstract（参考訳）: 過度にパラメータ化された線形回帰は、過去10年間に広く研究されてきた。しかし、既存のほとんどの研究は、共変量は独立であり、共変行列は非退化的であると仮定している。本稿では,消滅尾根体制における予測リスクについて,仮定を緩和し,決定論的等価性を導出する。共分散行列と依存の縮退は複数の降下を引き起こす可能性を示し、対応するピークの発生箇所を特徴付ける。我々の証明は分散プロファイルの新しいグラフ表現を用いる。両部グラフの最大マッチングとDulmage-Mendelsohn分解は、分散が特異となる構成を識別することを示す。

関連論文リスト

Identification of Causal Direction under an Arbitrary Number of Latent Confounders [54.76982125821112]
実世界のシナリオでは、観測された変数は複数の潜伏変数によって同時に影響を受けることがある。我々は,特定の方法で構築された観測変数の高次累積行列を併用する。これらの高次累積行列の階数不足特性から,2つの観測変数間の因果非対称性が直接観察可能であることを示す。
論文参考訳（メタデータ） (2025-10-26T15:10:00Z)
Causal vs. Anticausal merging of predictors [57.26526031579287]
同じデータを用いて、因果方向と反因果方向の融合予測器から生じる差について検討した。帰納的バイアスとしてCausal Maximum Entropy (CMAXENT) を用いて予測器をマージする。
論文参考訳（メタデータ） (2025-01-14T20:38:15Z)
Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
非ガウス共変量の設定における線形回帰の計算について検討する。本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
論文参考訳（メタデータ） (2024-12-04T20:31:47Z)
Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文参考訳（メタデータ） (2024-10-29T00:01:04Z)
Linear causal disentanglement via higher-order cumulants [0.0]
複数の文脈におけるデータへのアクセスを前提として,線形因果不整合の識別可能性について検討した。各潜伏変数に対する1つの完全な介入が十分であり、完全な介入の下でパラメータを復元するのに必要となる最悪の場合を示す。
論文参考訳（メタデータ） (2024-07-05T15:53:16Z)
High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
論文参考訳（メタデータ） (2024-03-29T14:24:49Z)
Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文参考訳（メタデータ） (2023-09-28T13:04:11Z)
High-dimensional analysis of double descent for linear regression with random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文参考訳（メタデータ） (2023-03-02T15:58:09Z)
Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。この問題は楕円分布のペナルティ化された最大推定値として表される。楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文参考訳（メタデータ） (2022-10-21T13:19:45Z)
On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。不変性はデータの変換におけるモデル予測の一貫性を測定する。データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文参考訳（メタデータ） (2022-07-14T17:08:25Z)
Kernel regression in high dimensions: Refined analysis beyond double descent [21.15702374555439]
バイアスは(ほとんど) d から独立であり、n で単調に減少するが、分散は n, d に依存し、異なる正則化スキームの下では単調または単調に減少できることを示す。我々の洗練された解析は、データ固有値と正規化のレベルによって、核回帰リスク曲線はn の双発的、ベル型、あるいは単調な関数であることを示すことによって、二重降下理論を越えている。
論文参考訳（メタデータ） (2020-10-06T12:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。