論文の概要: Fairness is Not Flat: Geometric Phase Transitions Against Shortcut Learning

• arxiv url: http://arxiv.org/abs/2604.11704v1
• Date: Mon, 13 Apr 2026 16:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.689951
• Title: Fairness is Not Flat: Geometric Phase Transitions Against Shortcut Learning
• Title（参考訳）: フェアネスはフラットではない: ショートカット学習に対する幾何学的位相遷移
• Authors: Nicolas Rodriguez-Alvarez, Fernando Rodriguez-Merino,
• Abstract要約: 本稿では,ショートカット学習を緩和するための幾何学的テクスタ事前手法を提案する。 ゼロ隠れ層(N=1$)のトポロジカルオーディターを配置することにより、人間の介入なしに勾配を独占する特徴を数学的に分離する。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks are highly susceptible to shortcut learning, frequently memorizing low-dimensional spurious correlations instead of underlying causal mechanisms. This phenomenon not only degrades out-of-distribution robustness but also induces severe demographic biases in sensitive applications. In this paper, we propose a geometric \textit{a priori} methodology to mitigate shortcut learning. By deploying a zero-hidden-layer ($N=1$) Topological Auditor, we mathematically isolate features that monopolize the gradient without human intervention. We empirically demonstrate a Capacity Phase Transition: once linear shortcuts are pruned, networks are forced to utilize higher geometric capacity ($N \geq 16$) to curve the decision boundary and learn ethical representations. Our approach outperforms L1 Regularization -- which collapses into demographic bias -- and operates at a fraction of the computational cost of post-hoc methods like Just Train Twice (JTT), successfully reducing counterfactual gender vulnerability from 21.18\% to 7.66\%.
• Abstract（参考訳）: ディープニューラルネットワークは、学習のショートカットに非常に敏感であり、基礎となる因果メカニズムの代わりに、しばしば低次元のスプリアス相関を記憶する。 この現象は配当の堅牢性を低下させるだけでなく、センシティブなアプリケーションにおいて深刻な人口統計バイアスを引き起こす。 本稿では,ショートカット学習を緩和するための幾何学的 \textit{a priori} 手法を提案する。 ゼロ隠れレイヤー(N=1$)のトポロジカルオーディターを配置することにより、人間の介入なしに勾配を独占する特徴を数学的に分離する。 線形ショートカットが切断されると、ネットワークはより高い幾何学的容量(N \geq 16$)を使って決定境界を曲線化し、倫理的表現を学習せざるを得なくなる。 我々の手法は、人口統計バイアスに崩壊するL1正規化よりも優れており、Just Train Twice (JTT)のようなポストホックな手法の計算コストのごく一部で運用されており、反事実性の脆弱性を21.18\%から7.66\%に下げることに成功した。

関連論文リスト

• Using physics-inspired Singular Learning Theory to understand grokking & other phase transitions in modern neural networks [0.913755431537592]
  本研究では,解釈可能性と相転移に関連する玩具設定における特異学習理論(SLT)について検討する。 本稿では、ニューラルネットワークの相転移を理解する上でのSLTの多くのメリットを概説し、この分野にオープンな研究課題を提起する。
  論文  参考訳（メタデータ） (2025-11-30T01:39:27Z)
• Simplicity Bias via Global Convergence of Sharpness Minimization [43.658859631741024]
  ラベルノイズSGDは、2層ネットワークにおける損失ゼロのモデル多様体のシャープネスを常に最小化することを示す。 また、ゼロ損失多様体上の近似定常点における損失のヘッセンのトレースの新たな性質も見いだす。
  論文  参考訳（メタデータ） (2024-10-21T18:10:37Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
  幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。 また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
  論文  参考訳（メタデータ） (2022-10-21T14:41:26Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Local Linearity and Double Descent in Catastrophic Overfitting [0.0]
  カタストロフィックオーバーフィッティングは、FGSM(Fast Gradient Sign Method)を用いた逆行訓練(AT)中に観察される現象である。 局所的な線形性を維持することは破滅的なオーバーフィッティングを防ぐために$textitsufficient$であるが、$textitnecessaryではない。
  論文  参考訳（メタデータ） (2021-11-21T07:11:21Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。