論文の概要: Double Descent Risk and Volume Saturation Effects: A Geometric Perspective

• arxiv url: http://arxiv.org/abs/2006.04366v2
• Date: Tue, 10 Nov 2020 05:18:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 00:33:59.337083
• Title: Double Descent Risk and Volume Saturation Effects: A Geometric Perspective
• Title（参考訳）: 二重発振リスクと容積飽和効果:幾何学的視点
• Authors: Prasad Cheema, Mahito Sugiyama
• Abstract要約: モデルボリュームの対数:$log V$はAICおよびBICモデル選択基準の背景にある直観を拡張する。 等方的線形回帰と統計格子の特定のモデルクラスに対して、$log V$項は異なる成分の和に分解できる。
• 参考スコア（独自算出の注目度）: 5.634825161148483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The appearance of the double-descent risk phenomenon has received growing interest in the machine learning and statistics community, as it challenges well-understood notions behind the U-shaped train-test curves. Motivated through Rissanen's minimum description length (MDL), Balasubramanian's Occam's Razor, and Amari's information geometry, we investigate how the logarithm of the model volume: $\log V$, works to extend intuition behind the AIC and BIC model selection criteria. We find that for the particular model classes of isotropic linear regression and statistical lattices, the $\log V$ term may be decomposed into a sum of distinct components, each of which assist in their explanations of the appearance of this phenomenon. In particular they suggest why generalization error does not necessarily continue to grow with increasing model dimensionality.
• Abstract（参考訳）: 複発リスク現象の出現は、U字型の列車試験曲線の背後にあるよく理解された概念に挑戦するため、機械学習と統計学コミュニティへの関心が高まっている。 リッサネンの最小記述長(MDL)、バラスラマニアのOccam's Razor、アマリの情報幾何を通して、モデル体積の対数:$\log V$は、AICとBICモデル選択基準の背景にある直観を拡張するためにどのように機能するかを考察する。 等方的線形回帰と統計格子の特定のモデルクラスに対して、$\log V$ 項は異なる成分の和に分解され、それぞれがこの現象の出現を説明するのに役立つ。 特に、一般化誤差がモデル次元の増加とともに必ずしも増大しない理由を示唆している。

関連論文リスト

• The poison of dimensionality [0.0]
  本稿では,機械学習モデルのサイズが毒性の脆弱性に与える影響について理解を深める。 実験では、モデル表現力の増強と毒薬の攻撃面の増大の基本的なトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2024-09-25T20:06:33Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Realization of Causal Representation Learning to Adjust Confounding Bias in Latent Space [28.133104562449212]
  因果DAG (Directed Acyclic Graphs) は通常、2次元平面において考慮される。 本稿では,変数の値がもはや時間スタンプに依存しておらず,時系列を軸と見なすことができるEmphdo-DAGとして因果DAGを再定義する。
  論文  参考訳（メタデータ） (2022-11-15T23:35:15Z)
• Multiple Descent in the Multiple Random Feature Model [8.988540634325691]
  多成分予測モデルのクラスにおける多重降下現象について検討する。 特定の降下数を持つリスク曲線が、多成分予測モデルの学習に一般的に存在することを示す。
  論文  参考訳（メタデータ） (2022-08-21T14:53:15Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Do-calculus enables causal reasoning with latent variable models [2.294014185517203]
  潜在変数モデル(LVM)は、トレーニング中に変数の一部が隠蔽される確率モデルである。 因果推論は,確率的モデリングコミュニティで長年確立されてきた幅広いlvmのクラスを拡張できることを示す。
  論文  参考訳（メタデータ） (2021-02-12T17:12:53Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。