論文の概要: Investigating Generalization by Controlling Normalized Margin

• arxiv url: http://arxiv.org/abs/2205.03940v1
• Date: Sun, 8 May 2022 19:26:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 16:17:00.256826
• Title: Investigating Generalization by Controlling Normalized Margin
• Title（参考訳）: 正規化マージン制御による一般化の検討
• Authors: Alexander Farhang, Jeremy Bernstein, Kushal Tirumala, Yang Liu, Yisong Yue
• Abstract要約: 標準ニューラルネットは正規化マージンを制御しないため、この量が一般化に因果関係があるかどうかを調べることは困難である。 本稿は、プロセスモデルについて、この振る舞いの有望な説明として提案する。
• 参考スコア（独自算出の注目度）: 92.1326026137498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight norm $\|w\|$ and margin $\gamma$ participate in learning theory via the normalized margin $\gamma/\|w\|$. Since standard neural net optimizers do not control normalized margin, it is hard to test whether this quantity causally relates to generalization. This paper designs a series of experimental studies that explicitly control normalized margin and thereby tackle two central questions. First: does normalized margin always have a causal effect on generalization? The paper finds that no -- networks can be produced where normalized margin has seemingly no relationship with generalization, counter to the theory of Bartlett et al. (2017). Second: does normalized margin ever have a causal effect on generalization? The paper finds that yes -- in a standard training setup, test performance closely tracks normalized margin. The paper suggests a Gaussian process model as a promising explanation for this behavior.
• Abstract（参考訳）: ウェイトノルム $\|w\|$ とマージン $\gamma$ は正規化マージン $\gamma/\|w\|$ を通じて学習理論に参加する。 標準ニューラルネットオプティマイザは正規化マージンを制御しないため、この量が一般化に因果関係しているかどうかを調べるのは難しい。 本稿では,正規化マージンを明示的に制御し,二つの中心的問題に取り組むための一連の実験研究を設計する。 まず、正規化マージンは常に一般化に因果効果があるか? この論文は、正規化マージンが一般化と関係のないように見えるネットワークは、Bartlett et al. (2017) に対抗して生成できないことを発見した。第二に、正規化マージンは一般化に因果的影響を持つだろうか? 標準的なトレーニング環境では、テストパフォーマンスは正規化マージンを綿密に追跡している。 本稿はガウス過程モデルをこの振る舞いの有望な説明として提案する。

関連論文リスト

• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Input margins can predict generalization too [1.2430809884830318]
  入力マージンは一般の一般化の予測ではなく,探索空間が適切に制約されている場合であることを示す。 我々は、入力マージンに基づくそのような尺度を開発し、それを制約マージンと呼ぶ。 制約されたマージンは競争力が高く、他のマージン測定よりも優れています。
  論文  参考訳（メタデータ） (2023-08-29T17:47:42Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Penalising the biases in norm regularisation enforces sparsity [28.86954341732928]
  この研究は、関数を表すのに必要なパラメータのノルムが、その第二微分の総変分によって与えられることを示し、$sqrt1+x2$ factorで重み付けされる。 特に、この重み付け係数はバイアス項のノルムが正規化されないときに消失する。
  論文  参考訳（メタデータ） (2023-03-02T15:33:18Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• The Hessian Screening Rule [5.076419064097734]
  ヘッセンスクリーニング規則はモデルからの2次情報を使用してより正確なスクリーニングを提供する。 このルールは, 相関性の高いシミュレーション実験において, 他の選択肢よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-27T07:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。