論文の概要: Relative Flatness and Generalization

• arxiv url: http://arxiv.org/abs/2001.00939v4
• Date: Thu, 4 Nov 2021 15:00:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 17:38:00.783824
• Title: Relative Flatness and Generalization
• Title（参考訳）: 相対平坦性と一般化
• Authors: Henning Petzka, Michael Kamp, Linara Adilova, Cristian Sminchisescu, Mario Boley
• Abstract要約: 損失曲線の平坦性は、機械学習モデルの一般化能力に関係していると推測される。 なぜ、そして、その状況下で平坦性が一般化に結びついているのかは、まだ明らかな理論上の問題である。
• 参考スコア（独自算出の注目度）: 31.307340632319583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flatness of the loss curve is conjectured to be connected to the generalization ability of machine learning models, in particular neural networks. While it has been empirically observed that flatness measures consistently correlate strongly with generalization, it is still an open theoretical problem why and under which circumstances flatness is connected to generalization, in particular in light of reparameterizations that change certain flatness measures but leave generalization unchanged. We investigate the connection between flatness and generalization by relating it to the interpolation from representative data, deriving notions of representativeness, and feature robustness. The notions allow us to rigorously connect flatness and generalization and to identify conditions under which the connection holds. Moreover, they give rise to a novel, but natural relative flatness measure that correlates strongly with generalization, simplifies to ridge regression for ordinary least squares, and solves the reparameterization issue.
• Abstract（参考訳）: 損失曲線の平坦性は、機械学習モデル、特にニューラルネットワークの一般化能力に関係していると推測される。 平坦度測度が一般化と強く相関していることは実証的に観察されているが、なぜかつ、その状況下において平坦度が一般化に結びついているのか、特に特定の平坦度測度を変化させるが一般化は変わらない再パラメータ化の観点からは、まだ明らかな理論上の問題である。 本研究では,代表データからの補間,代表性の概念の導出,特徴ロバスト性との関係について検討する。 この概念は、平坦性と一般化を厳密に結合し、接続が持つ条件を特定することを可能にする。 さらに、それらは一般化と強く相関する、新しいが自然な相対平坦性測度を生み出し、通常の最小二乗に対するリッジ回帰を単純化し、再パラメータ問題を解く。

関連論文リスト

• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• FAM: Relative Flatness Aware Minimization [5.132856559837775]
  平坦性の最適化は1994年に Hochreiter と Schmidthuber によって提案された。 最近の理論的研究は、特定の相対的平坦度測度が一般化に結びつくことを示唆している。 この相対平坦性に基づいて正規化器を導出し、計算が容易で、高速で、効率的で、任意の損失関数を扱う。
  論文  参考訳（メタデータ） (2023-07-05T14:48:24Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel [30.088226334627375]
  パラメータのスケールに応じて、平坦性と一般化境界を任意に変更できることが示される。 我々は,パラメータのスケールと接続性をテキスト分解することで,スケーリング変換に不変な新しい事前分布と後続分布を提案する。 我々は, 後部が, 複雑さの低い効果的な平坦度とキャリブレーションの指標を実証的に示す。
  論文  参考訳（メタデータ） (2022-09-30T03:31:13Z)
• Why Flatness Correlates With Generalization For Deep Neural Networks [0.0]
  局所平坦度尺度は,グローバルな資産に対する局所近似であるため,一般化と相関する。 テスト集合上でゼロ誤差を与える関数に対しては、ベイズ後方に直比例する。 SGDのいくつかの変種は平坦性一般化相関を破りうるが、体積一般化相関はそのままである。
  論文  参考訳（メタデータ） (2021-03-10T17:44:52Z)
• Implicit Regularization in Tensor Factorization [17.424619189180675]
  深層学習における暗黙的正規化は、学習データと最小の「複雑度」の予測者に適合する勾配に基づく最適化の傾向として認識される。 テンソルランクは、ニューラルネットワークの暗黙の正規化と、それを一般化に翻訳する実世界のデータの性質の両方を説明する方法となるかもしれない。
  論文  参考訳（メタデータ） (2021-02-19T15:10:26Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• Overparameterization and generalization error: weighted trigonometric interpolation [4.631723879329972]
  本研究では,未知のフーリエ係数を等価試料から推定するランダムフーリエ級数モデルについて検討する。 滑らかな補間物に対する偏りが、重み付き三角法一般化の形でどのようにしてより小さい一般化誤差をもたらすかを正確に示す。
  論文  参考訳（メタデータ） (2020-06-15T15:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。