論文の概要: Quotient Geometry, Effective Curvature, and Implicit Bias in Simple Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2603.21502v1
• Date: Mon, 23 Mar 2026 02:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.451861
• Title: Quotient Geometry, Effective Curvature, and Implicit Bias in Simple Shallow Neural Networks
• Title（参考訳）: 単純な浅層ニューラルネットワークにおけるクオリティ幾何、有効曲率、およびインシシトバイアス
• Authors: Hang-Cheng Dong, Pengcheng Cheng,
• Abstract要約: 我々は,単純な浅層ネットワークを解析するための微分幾何学的フレームワークを開発した。 まず、正規浅層ネットワークパラメータの対称性と商構造を特徴付ける。 次に,パラメータ移動の水平成分のみが1次予測器の進化に寄与することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparameterized shallow neural networks admit substantial parameter redundancy: distinct parameter vectors may represent the same predictor due to hidden-unit permutations, rescalings, and related symmetries. As a result, geometric quantities computed directly in the ambient Euclidean parameter space can reflect artifacts of representation rather than intrinsic properties of the predictor. In this paper, we develop a differential-geometric framework for analyzing simple shallow networks through the quotient space obtained by modding out parameter symmetries on a regular set. We first characterize the symmetry and quotient structure of regular shallow-network parameters and show that the finite-sample realization map induces a natural metric on the quotient manifold. This leads to an effective notion of curvature that removes degeneracy along symmetry orbits and yields a symmetry-reduced Hessian capturing intrinsic local geometry. We then study gradient flows on the quotient and show that only the horizontal component of parameter motion contributes to first-order predictor evolution, while the vertical component corresponds purely to gauge variation. Finally, we formulate an implicit-bias viewpoint at the quotient level, arguing that meaningful complexity should be assigned to predictor classes rather than to individual parameter representatives. Our experiments confirm that ambient flatness is representation-dependent, that local dynamics are better organized by quotient-level curvature summaries, and that in underdetermined regimes, implicit bias is most naturally described in quotient coordinates.
• Abstract（参考訳）: パラメータベクトルは、隠れた単位の置換、再スケーリング、および関連する対称性によって、同じ予測子を表現することができる。 その結果、周囲ユークリッドパラメータ空間で直接計算された幾何量は、予測子の固有の性質よりも表現のアーチファクトを反映することができる。 本稿では,パラメータ対称性を正規化して得られる商空間を通じて,単純な浅層ネットワークを解析するための微分幾何学的フレームワークを開発する。 まず、正規浅層ネットワークパラメータの対称性と商構造を特徴づけ、有限サンプル実化写像が商多様体上の自然な計量を誘導することを示す。 このことは、対称軌道に沿った縮退性を取り除き、固有局所幾何学の対称性を再現したヘシアンを導出する曲率の概念を効果的に導く。 次に,パラメータ運動の水平成分のみが1次予測器の進化に寄与し,垂直成分はゲージ変動に純粋に対応していることを示す。 最後に、商レベルで暗黙のバイアス視点を定式化し、個々のパラメータ代表よりも予測クラスに有意義な複雑さを割り当てるべきであると主張した。 実験により, 環境平坦性は表現依存であり, 局所力学は商レベルの曲率和によってより整理され, 暗黙の偏りは商座標において最も自然に記述されていることを確認した。

関連論文リスト

• Fubini Study geometry of representation drift in high dimensional data [0.0]
  高次元表現のドリフトは、ユークリッド距離またはコサイン距離を用いて一般的に定量化される。 フービニ・スタディ・メトリックスにおいて,表現漂流の射影幾何学的視点を導入する。 フービニ・スタディ(Fubini Study)測度は、ゲージ誘起揺らぎの下での残留不変量による内在的進化を分離することを示した。
  論文  参考訳（メタデータ） (2026-02-01T16:00:59Z)
• Implicit bias as a Gauge correction: Theory and Inverse Design [2.9379512315137117]
  機械学習理論の中心的な問題は、学習力学が学習目標と互換性のある特定のソリューションをどのように選択するかを特徴づけることである。 我々は、暗黙のバイアスの出現に対する学習力学の明示的な修正という観点から、一般的なメカニズムを同定する。 我々は、様々な力学の帰納バイアスを計算し、いくつかのよく知られた結果が単一の統一されたフレームワークにどのように適合するかを示した。
  論文  参考訳（メタデータ） (2026-01-10T15:33:09Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• The Geometry of Neural Nets' Parameter Spaces Under Reparametrization [35.5848464226014]
  我々は、リーマン幾何学の観点から、リパラメトリゼーションの下でのニューラルネットの不変性について研究する。 本稿では,ミニマムの平坦度,最適化,および確率密度について考察する。
  論文  参考訳（メタデータ） (2023-02-14T22:48:24Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。