論文の概要: Implicit bias as a Gauge correction: Theory and Inverse Design

• arxiv url: http://arxiv.org/abs/2601.06597v1
• Date: Sat, 10 Jan 2026 15:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.891102
• Title: Implicit bias as a Gauge correction: Theory and Inverse Design
• Title（参考訳）: ゲージ補正としての入射バイアス:理論と逆設計
• Authors: Nicola Aladrah, Emanuele Ballarin, Matteo Biagetti, Alessio Ansuini, Alberto d'Onofrio, Fabio Anselmi,
• Abstract要約: 機械学習理論の中心的な問題は、学習力学が学習目標と互換性のある特定のソリューションをどのように選択するかを特徴づけることである。 我々は、暗黙のバイアスの出現に対する学習力学の明示的な修正という観点から、一般的なメカニズムを同定する。 我々は、様々な力学の帰納バイアスを計算し、いくつかのよく知られた結果が単一の統一されたフレームワークにどのように適合するかを示した。
• 参考スコア（独自算出の注目度）: 2.9379512315137117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central problem in machine learning theory is to characterize how learning dynamics select particular solutions among the many compatible with the training objective, a phenomenon, called implicit bias, which remains only partially characterized. In the present work, we identify a general mechanism, in terms of an explicit geometric correction of the learning dynamics, for the emergence of implicit biases, arising from the interaction between continuous symmetries in the model's parametrization and stochasticity in the optimization process. Our viewpoint is constructive in two complementary directions: given model symmetries, one can derive the implicit bias they induce; conversely, one can inverse-design a wide class of different implicit biases by computing specific redundant parameterizations. More precisely, we show that, when the dynamics is expressed in the quotient space obtained by factoring out the symmetry group of the parameterization, the resulting stochastic differential equation gains a closed form geometric correction in the stationary distribution of the optimizer dynamics favoring orbits with small local volume. We compute the resulting symmetry induced bias for a range of architectures, showing how several well known results fit into a single unified framework. The approach also provides a practical methodology for deriving implicit biases in new settings, and it yields concrete, testable predictions that we confirm by numerical simulations on toy models trained on synthetic data, leaving more complex scenarios for future work. Finally, we test the implicit bias inverse-design procedure in notable cases, including biases toward sparsity in linear features or in spectral properties of the model parameters.
• Abstract（参考訳）: 機械学習理論における中心的な問題は、学習力学がトレーニング対象と互換性のある多くの人の中で、特定の解をどのように選択するかを特徴づけることである。 本研究は,モデルパラメトリゼーションにおける連続対称性と最適化過程における確率性との相互作用から生じる暗黙バイアスの出現に対する学習力学の明示的な幾何的補正という観点から,一般的なメカニズムを同定する。 モデル対称性が与えられたとき、それらが引き起こす暗黙のバイアスを導出することができ、逆に、特定の冗長なパラメータ化を計算することで、異なる暗黙のバイアスの幅広いクラスを逆設計することができる。 より正確には、パラメータ化の対称性群を分解して得られる商空間で力学が表現されるとき、結果として得られる確率微分方程式は、局所体積の小さい軌道を選好するオプティマイザ力学の定常分布における閉形式幾何補正を得る。 我々は、様々なアーキテクチャに対する結果の対称性誘導バイアスを計算し、よく知られたいくつかの結果が単一の統一フレームワークにどのように適合するかを示す。 このアプローチはまた、新しい設定における暗黙のバイアスを導出するための実践的な方法論を提供し、合成データに基づいて訓練されたおもちゃのモデルに関する数値シミュレーションによって確認できる具体的な、検証可能な予測をもたらし、将来の作業にもっと複雑なシナリオを残します。 最後に、線形特徴量やモデルパラメータのスペクトル特性に対するバイアスを含む顕著なケースにおいて、暗黙的偏差逆設計法をテストする。

関連論文リスト

• From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
  パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。 分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
  論文  参考訳（メタデータ） (2025-11-29T08:40:58Z)
• SEAL - A Symmetry EncourAging Loss for High Energy Physics [0.005211875900848231]
  対称性を明示的に尊重するマシンラーニングモデルの構築は、専用のコンポーネントを必要とするため、難しい場合がある。 我々は,モデルが正確な対称性を強制するのではなく,学習過程における追加対称性の重要性を決定できるようなソフト制約を導入する。
  論文  参考訳（メタデータ） (2025-11-03T19:00:13Z)
• Equivariant Flow Matching for Symmetry-Breaking Bifurcation Problems [2.720699926154399]
  本稿では,分岐結果に対する全確率分布をモデル化するためのフローマッチングに基づく生成フレームワークを提案する。 我々は、玩具モデルから座屈ビームやアレン・カーンの方程式のような複雑な物理問題まで、様々なシステムに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-09-03T14:18:05Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Towards Modeling and Resolving Singular Parameter Spaces using Stratifolds [18.60761407945024]
  学習力学において、特異点は学習軌道の引力として作用し、従ってモデルの収束速度に悪影響を及ぼす。 直交多様体を用いて特異点から生じる問題を回避するための一般的な手法を提案する。 経験的に、特異空間の代わりに滑らかな多様体近似に(自然な)勾配勾配を用いることで、魅力の振舞いを回避でき、学習における収束速度を向上できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T14:42:45Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。