論文の概要: Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning

• arxiv url: http://arxiv.org/abs/2605.19458v1
• Date: Tue, 19 May 2026 07:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.179987
• Title: Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning
• Title（参考訳）: 均質ニューラルネットワークにおける鏡面流れの入射バイアス:スパースと高密度特徴学習
• Authors: Tom Jacobs, Guido Montufar,
• Abstract要約: 同種活性化関数を持つディープニューラルネットワークにおいて,ミラーフローによって到達した最大マージン解について検討した。 独立な非同次ミラー写像は、同じ極大解を誘導できることを示す。
• 参考スコア（独自算出の注目度）: 2.1853670711109103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the max-margin solutions reached by mirror flow in deep neural networks with homogeneous activation functions. Extending classical results on gradient flow, we derive a novel balance equation for mirror flow from convex duality, enabling a characterization of the horizon function governing the induced margin. We further establish max-margin characterizations together with convergence rates and norm growth estimates. Finally, we support our theory through experiments on synthetic datasets and standard vision tasks. Concretely, we show that: (1) distinct non-homogeneous mirror maps can induce the same max-margin solution; (2) convergence can be extremely slow, including exponentially slow regimes; and (3) although all considered mirror maps exhibit feature learning, they can produce markedly different representations, ranging from sparse to dense neuron activations. Together, these results provide a unified perspective on sparse and dense feature learning in homogeneous neural networks, highlighting how mirror maps shape both optimization dynamics and the geometry of the learned classifiers.
• Abstract（参考訳）: 同種活性化関数を持つディープニューラルネットワークにおいて,ミラーフローによって到達した最大マージン解について検討した。 勾配流に関する古典的な結果を拡張し、凸双対性からミラーフローの新たなバランス方程式を導出し、誘導利得を規定する水平関数のキャラクタリゼーションを可能にする。 さらに、収束率とノルム成長推定値とともに、最大マルジン特性を定めている。 最後に、合成データセットと標準視覚タスクの実験を通して、我々の理論を支持する。 具体的には,(1)非均一なミラーマップが同一の最大値解を誘導し,(2)指数関数的に遅い状態を含む収束が極めて遅いこと,(3)全てのミラーマップが特徴学習を示すにもかかわらず,スパースから高密度ニューロン活性化まで,顕著に異なる表現を生成できることを示す。 これらの結果は、均質ニューラルネットワークにおけるスパースと密な特徴学習の統一的な視点を提供し、ミラーマップが最適化力学と学習された分類器の幾何学の両方をどう形作るかを強調している。

関連論文リスト

• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Similarity Matching Networks: Hebbian Learning and Convergence Over Multiple Time Scales [5.093257685701887]
  本研究では,主部分空間投影のための固有性マッチングネットワークの検討と解析を行う。 マルチレベル最適化フレームワークを利用することで、オフライン環境でのダイナミクスの収束を証明できる。
  論文  参考訳（メタデータ） (2025-06-06T14:46:22Z)
• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
  2層から有限層まで線形に活性化するニューラルネットワークについて検討する。 まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
  論文  参考訳（メタデータ） (2024-03-02T00:33:45Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• The Asymmetric Maximum Margin Bias of Quasi-Homogeneous Neural Networks [26.58848653965855]
  準均質モデルのクラスを導入し、同質な活性化を伴うほぼ全てのニューラルネットワークを記述するのに十分な表現性を示す。 すべてのパラメータが等しく扱われる同質なモデルの場合とは異なり、勾配流はパラメータのサブセットを暗黙的に好んでいる。
  論文  参考訳（メタデータ） (2022-10-07T21:14:09Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。