論文の概要: High-dimensional networks and mean squared error for possibly misspecified models
- arxiv url: http://arxiv.org/abs/2608.13171v1
- Date: Thu, 13 Aug 2026 12:40:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.519565
- Title: High-dimensional networks and mean squared error for possibly misspecified models
- Title（参考訳）: 有意な不特定モデルに対する高次元ネットワークと平均二乗誤差
- Abstract要約: 観測値よりも多くのパラメータを持つ設定では,各ノードの近傍の保守的な推定値が得られることを示す。
これらの洞察を機械学習の結果と結びつけて、いわゆる二重降下は、モデル選択に関する従来の見解を逆さまにしている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: To avoid missing important variables and their connections in networks, more and more variables are included in network analysis. Here we show that in a setting with many more parameters than observations (high-dimensional) it is possible to get a conservative (i.e., low false positive rate) estimate of the neighbourhood for each node (which connections are in the network). A neighbourhood is often estimated with a linear model, and this leads to two interesting cases: (i) If the true model is linear, then neighbourhood selection work reasonably well, and (ii) if the true model is nonlinear, then neighbourhood selection requires a penalty for the high dimensions. Here we show the impact of the ridge parameter on the mean squared error, and how this leads to low test variance and hence to neighbourhoods with large numbers of edges. We connect these insights with results from machine learning, where the so-called double descent (when more parameters are included than observations, the mean squared error goes down a second time) has put the traditional view on model selection upside down. Essentially, for adequate neighbourhood selection in models with a large number of parameters, the volume of the model space needs to be included in the penalty. Most neighbourhood selection methods (e.g., Lasso, AIC, BIC) lead to spurious edges (high false positive rate), but we prove that in the high-dimensional setting, minimum description length leads to correct neighbourhood selection or smaller (low false positive rates) in both cases when either the model is correctly or incorrectly assumed linear
- Abstract（参考訳）: ネットワークにおける重要な変数とその接続の欠如を避けるため、ネットワーク分析により多くの変数が組み込まれている。
ここでは、観測値よりも多くのパラメータ(高次元)を持つ環境では、各ノード(接続がネットワーク内にある)の近傍の保守的(すなわち、偽陽性率の低い)推定値が得られることを示す。
近傍はしばしば線形モデルで推定され、これは2つの興味深いケースに繋がる。
(i)真のモデルが線型であれば、近隣の選択は合理的に機能し、
(ii) 真のモデルが非線形であれば、近傍選択は高次元に対してペナルティを必要とする。
ここでは、リッジパラメータが平均二乗誤差に与える影響と、これがテストのばらつきを低くし、多くのエッジを持つ近傍にどのように影響するかを示す。
これらの洞察を機械学習の結果と結びつけて、いわゆる二重降下(観測値よりも多くのパラメータが含まれている場合、平均2乗誤差は2度に減少する)は、モデル選択に関する従来の見解を逆さまにしている。
本質的には、多数のパラメータを持つモデルにおける適切な近傍選択のために、モデル空間の体積をペナルティに含める必要がある。
ほとんどの近傍選択法(例えば、Lasso、AIC、BIC)は急激なエッジ(高い偽陽性率)をもたらすが、高次元設定では、モデルが正しくまたは正しく仮定された場合、両方のケースにおいて最小記述長が正しい近傍選択またはより小さい(低い偽陽性率)ことを証明している。
関連論文リスト
- How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression? [27.523011286375947]
本稿では,高次元のランダムな特徴に対する2乗損失を伴う浅部ReLUモデルのトレーニングにおいて,勾配降下(GD)の暗黙バイアスを特徴付ける。
この2つの極性の間に補間を行い、十分に高次元のランダムなデータに対して、暗黙の偏差は高い確率で最小l2-ノルム解に近似することを示した。
論文 参考訳（メタデータ） (2026-03-05T07:36:07Z) - An Iterative Bayesian Approach for System Identification based on Linear Gaussian Models [70.75865595489691]
システム識別の問題に取り組み、入力を選択し、実際のシステムから対応する出力を観測し、データに最も合うようにモデルのパラメータを最適化する。
提案手法では,システムからの入力出力データとパラメータに関するモデルの1次情報のみを必要とする。
論文 参考訳（メタデータ） (2025-01-28T01:57:51Z) - Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。
多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
論文 参考訳（メタデータ） (2024-09-08T13:08:45Z) - Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis [17.989809995141044]
相関解析に基づくCCAマージを提案する。
2モデル以上のモデルがマージされた場合、CCAは過去の方法よりもはるかにうまく機能することを示す。
論文 参考訳（メタデータ） (2024-07-07T14:21:04Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳（メタデータ） (2023-06-19T18:48:15Z) - Universal and data-adaptive algorithms for model selection in linear
contextual bandits [52.47796554359261]
モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。
データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。
我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
論文 参考訳（メタデータ） (2021-11-08T18:05:35Z) - On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。
ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。
ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文 参考訳（メタデータ） (2021-07-27T09:13:11Z) - A rigorous introduction to linear models [8.034728173797953]
この本は線形モデルとその背後にある理論について紹介することを目的としている。
機械学習では、出力は通常入力の非線形関数である。
論文 参考訳（メタデータ） (2021-05-10T10:12:28Z) - Canny-VO: Visual Odometry with RGB-D Cameras based on Geometric 3D-2D
Edge Alignment [85.32080531133799]
本稿では,自由形式の曲線登録に関する古典的な問題をレビューし,効率的なrgbdビジュアルオドメトリシステムcanny-voに適用する。
エッジ登録でよく用いられる距離変換の代替として、近似近接近傍場と配向近接近傍場という2つの方法が提案されている。
3D2Dエッジアライメントは、効率性と精度の両方の観点から、これらの代替製剤の恩恵を受けます。
論文 参考訳（メタデータ） (2020-12-15T11:42:17Z) - Learning Interpretable Models Using Uncertainty Oracles [12.879371384378164]
解釈可能なモデルの望ましい性質は、人間によって容易に理解できるように、小さなサイズである。
a) 小さいサイズが正確さを暗示し、(b) サイズを制限するモデルファミリが提供するビースルークレバーは、望ましいサイズ精度のトレードオフに達するには不十分である。
論文 参考訳（メタデータ） (2019-06-17T05:53:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。