論文の概要: Understanding Nonlinear Implicit Bias via Region Counts in Input Space

• arxiv url: http://arxiv.org/abs/2505.11370v1
• Date: Fri, 16 May 2025 15:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.471658
• Title: Understanding Nonlinear Implicit Bias via Region Counts in Input Space
• Title（参考訳）: 入力空間内の領域数による非線形入射バイアスの理解
• Authors: Jingwei Li, Jing Xu, Zifan Wang, Huishuai Zhang, Jingzhao Zhang,
• Abstract要約: 我々は、同じ予測ラベルを持つ入力空間内の連結領域のカウントによって、暗黙バイアスを特徴づける。 小さい領域のカウントは幾何学的に単純な決定境界と一致し、良い一般化性能とよく相関している。
• 参考スコア（独自算出の注目度）: 33.269290703951455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One explanation for the strong generalization ability of neural networks is implicit bias. Yet, the definition and mechanism of implicit bias in non-linear contexts remains little understood. In this work, we propose to characterize implicit bias by the count of connected regions in the input space with the same predicted label. Compared with parameter-dependent metrics (e.g., norm or normalized margin), region count can be better adapted to nonlinear, overparameterized models, because it is determined by the function mapping and is invariant to reparametrization. Empirically, we found that small region counts align with geometrically simple decision boundaries and correlate well with good generalization performance. We also observe that good hyper-parameter choices such as larger learning rates and smaller batch sizes can induce small region counts. We further establish the theoretical connections and explain how larger learning rate can induce small region counts in neural networks.
• Abstract（参考訳）: ニューラルネットワークの強力な一般化能力の1つの説明は、暗黙のバイアスである。 しかし、非線形文脈における暗黙のバイアスの定義とメカニズムはほとんど理解されていない。 本研究では,同じラベルを持つ入力空間内の連結領域の個数によって,暗黙バイアスを特徴付けることを提案する。 パラメータ依存のメトリクス(例えばノルムや正規化マージン)と比較すると、関数マッピングによって決定され、再パラメータ化には不変であるため、領域カウントは非線形で過度なパラメータ化モデルに適合する。 経験的に、小領域の数は幾何学的に単純な決定境界と一致し、良い一般化性能とよく相関していることがわかった。 また、学習率やバッチサイズが小さいなど、優れたハイパーパラメータ選択が、小さな領域数を誘導する可能性があることも観察した。 さらに、理論的接続を確立し、ニューラルネットワークにおいて学習率がいかに小さい領域数を誘導できるかを説明します。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• The Geometry of Neural Nets' Parameter Spaces Under Reparametrization [35.5848464226014]
  我々は、リーマン幾何学の観点から、リパラメトリゼーションの下でのニューラルネットの不変性について研究する。 本稿では,ミニマムの平坦度,最適化,および確率密度について考察する。
  論文  参考訳（メタデータ） (2023-02-14T22:48:24Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Nonperturbative renormalization for the neural network-QFT correspondence [0.0]
  この文脈で局所性とパワーカウンティングの概念を考察する。 Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。 我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
  論文  参考訳（メタデータ） (2021-08-03T10:36:04Z)
• On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity [6.252236971703546]
  分割線型関数を構成する線形関数間の同値関係を導入し、その同値関係に対してそれらの線形関数を数える。 我々の新しい複雑性測度は、2つのモデルを明確に区別することができ、古典的測度と整合し、指数関数的に深さに比例して増加する。
  論文  参考訳（メタデータ） (2020-10-23T01:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。