論文の概要: The Geometric Structure of Models Learning Sparse Data

• arxiv url: http://arxiv.org/abs/2605.08464v1
• Date: Fri, 08 May 2026 20:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.668686
• Title: The Geometric Structure of Models Learning Sparse Data
• Title（参考訳）: スパースデータ学習モデルの幾何学的構造
• Authors: Thomas Walker, T. Mitchell Roddenberry, Ahmed Imtiaz Humayun, Randall Balestriero, Richard Baraniuk,
• Abstract要約: 多様体仮説がスパースとして適用できない状況について述べる。 モデルが高度に構造化された局所幾何学を利用してスパース構造に成功することを示す。 正規化戦略であるGrokAlignを導入する。
• 参考スコア（独自算出の注目度）: 25.675653468258805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The manifold hypothesis (MH) is often used to explain how machine learning can overcome the curse of dimensionality. However, the MH is only applicable in regimes where the training data provides a sufficiently dense sample of the underlying low-dimensional data manifold, or where such a low-dimensional manifold is conceivably present. We describe the regimes where the MH is not applicable as sparse. In this paper, we demonstrate that models succeed in the sparse regime by exploiting a highly structured local geometry, a property we formalize as normal alignment. We prove that normal-aligned classifiers -- whose input-output Jacobians are rank-one and align perfectly with the training data -- minimize the training objective under norm constraints and achieve maximal local robustness under a non-zero Jacobian constraint. For continuous piecewise-affine deep networks, normal alignment manifests geometrically as centroid alignment within the network's induced power diagram partition and results from the feature-learning regime. Motivated by these theoretical insights, we introduce GrokAlign, a regularization strategy that actively induces normal alignment. We demonstrate that GrokAlign significantly accelerates the training dynamics of deep networks relevant to the grokking phenomenon. Furthermore, we apply the principle of normal alignment to Recursive Feature Machines (RFMs) to introduce Recursive Feature Alignment Machines (RFAMs). We show that RFAMs exhibit greater adversarial robustness compared to RFMs when trained on tabular data.
• Abstract（参考訳）: 多様体仮説(MH)は、機械学習が次元の呪いを克服する方法を説明するためにしばしば用いられる。 しかし、MHは、トレーニングデータが下層の低次元データ多様体の十分な密度のサンプルを提供する状況や、そのような低次元多様体が存在する状況にのみ適用できる。 MHがスパースとして適用できない状況について述べる。 本稿では,高度に構造化された局所幾何学を利用して,モデルがスパース構造に成功することを示す。 入力出力ジャコビアンがランクワンであり、トレーニングデータと完全に一致している正規整列分類器は、ノルム制約下でのトレーニング目標を最小化し、非ゼロジャコビアン制約下で最大局所ロバスト性を達成することを証明した。 連続的なピースワイズ・アフィン・ディープ・ネットワークの場合、通常のアライメントは、ネットワークの誘導されたパワーダイアグラムのパーティション内のセントロイドアライメントとして幾何学的に現れ、特徴学習の仕組みから得られる。 これらの理論的な洞察に触発され、正規化戦略であるGrokAlignを導入し、正常なアライメントを積極的に誘導する。 我々はGrokAlignがグルーキング現象に関連するディープネットワークのトレーニングダイナミクスを著しく加速することを示した。 さらに,通常のアライメントの原理をRFM(Recursive Feature Alignment Machines)に適用し,RFAM(Recursive Feature Alignment Machines)を導入する。 RFAMは,表層データを用いたトレーニングではRFMよりも高い対角性を示した。

関連論文リスト

• The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
  本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 局所性と重量共有が根本的に変化していることが示されています。
  論文  参考訳（メタデータ） (2026-03-05T04:50:51Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• ENIGMA: The Geometry of Reasoning and Alignment in Large-Language Models [0.0]
  エントロピー多言語モデルアライメント(ENIGMA)について述べる。 組織の方針や原則を、モデルの情報多様体に移動する方向として扱うことで、推論、アライメント、ロバスト性を改善する。
  論文  参考訳（メタデータ） (2025-10-13T11:13:09Z)
• Reconstruction of SINR Maps from Sparse Measurements using Group Equivariant Non-Expansive Operators [1.9692747349111241]
  グループ同変非拡張演算子(GENEOs)に基づく新しい再構成フレームワークを提案する。 我々の重要な洞察は、SINRマップのトポロジ的構造を保存するネットワーク管理は、ピクセル単位の誤差を最小限に抑えるよりも、しばしば重要であるということである。 以上の結果から,MSEは競争力を維持しつつも,トポロジカル忠実度において確立されたMLベースラインを劇的に上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-07-25T14:59:44Z)
• Matrix Completion-Informed Deep Unfolded Equilibrium Models for Self-Supervised k-Space Interpolation in MRI [8.33626757808923]
  正規化モデル駆動型ディープラーニング(DL)は,DLの強力な表現能力を活用する能力から注目されている。 理論的に保証され,完全サンプリングラベルに依存しない加速MRIのための自己教師型DLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-24T07:25:06Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Atlas Based Representation and Metric Learning on Manifolds [0.0]
  本稿では,ニューラルネットワークに基づく表現学習タスクのターゲット空間として,グラフの集合として表される位相多様体の利用について検討する。 これは、エンコーダのネットワークアーキテクチャの出力に対する簡単な調整と、正規化のための最大平均不一致(MMD)に基づく損失関数の追加によって達成される。
  論文  参考訳（メタデータ） (2021-06-13T18:05:46Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。