論文の概要: Black Boxes and Looking Glasses: Multilevel Symmetries, Reflection Planes, and Convex Optimization in Deep Networks

• arxiv url: http://arxiv.org/abs/2410.04279v1
• Date: Fri, 11 Oct 2024 19:40:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 08:39:47.518309
• Title: Black Boxes and Looking Glasses: Multilevel Symmetries, Reflection Planes, and Convex Optimization in Deep Networks
• Title（参考訳）: ブラックボックスと外見ガラス:ディープネットワークにおけるマルチレベル対称性,反射面,凸最適化
• Authors: Emi Zeger, Mert Pilanci,
• Abstract要約: 絶対値アクティベーションと任意の入力次元を持つディープニューラルネットワーク(DNN)のトレーニングは,等価凸ラッソ問題として定式化可能であることを示す。 この定式化は、ニューラルネットワークの対称性をコードする幾何学的構造を明らかにする。
• 参考スコア（独自算出の注目度）: 46.337104465755075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that training deep neural networks (DNNs) with absolute value activation and arbitrary input dimension can be formulated as equivalent convex Lasso problems with novel features expressed using geometric algebra. This formulation reveals geometric structures encoding symmetry in neural networks. Using the equivalent Lasso form of DNNs, we formally prove a fundamental distinction between deep and shallow networks: deep networks inherently favor symmetric structures in their fitted functions, with greater depth enabling multilevel symmetries, i.e., symmetries within symmetries. Moreover, Lasso features represent distances to hyperplanes that are reflected across training points. These reflection hyperplanes are spanned by training data and are orthogonal to optimal weight vectors. Numerical experiments support theory and demonstrate theoretically predicted features when training networks using embeddings generated by Large Language Models.
• Abstract（参考訳）: 絶対値アクティベーションと任意の入力次元を持つディープニューラルネットワーク(DNN)のトレーニングは,幾何代数を用いて表現された新しい特徴を持つ等価凸ラッソ問題として定式化可能であることを示す。 この定式化は、ニューラルネットワークの対称性をコードする幾何学的構造を明らかにする。 DNNの等価なラッソ形式を用いて、我々は、ディープネットワークと浅層ネットワークの根本的な区別を正式に証明する:ディープネットワークは本来、それらの適合する関数において対称構造を好んでおり、より深いディープネットワークは、マルチレベル対称性、すなわち対称性内での対称性を可能にする。 さらに、ラッソの特徴は、訓練点を越えて反射される超平面への距離を表す。 これらの反射超平面は、トレーニングデータによって分散され、最適な重みベクトルに直交する。 大規模言語モデルによる埋め込みを用いた学習ネットワークにおける理論支援と理論的予測特徴の実証実験

関連論文リスト

• The Role of Fibration Symmetries in Geometric Deep Learning [0.0]
  Geometric Deep Learning (GDL)は、対称性の観点から機械学習技術の幅広いクラスを統一する。 我々はGDLを緩和し、局所対称性、特にグラフのフィブレーション対称性が現実的なインスタンスの規則性を利用することを可能にすることを提案する。 GNNは、フィブレーション対称性の誘導バイアスを適用し、その表現力に対してより強い上限を導出する。
  論文  参考訳（メタデータ） (2024-08-28T16:04:40Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
  2層から有限層まで線形に活性化するニューラルネットワークについて検討する。 まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
  論文  参考訳（メタデータ） (2024-03-02T00:33:45Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
  ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。 本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。 数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。 また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
  論文  参考訳（メタデータ） (2021-06-07T16:07:15Z)
• Deep Networks and the Multiple Manifold Problem [15.144495799445824]
  マシンビジョンにおける応用をモデル化した二項分類タスクである多重多様体問題について検討し、深部完全連結ニューラルネットワークを用いて単位球面の2つの低次元部分多様体を分離する。 ネットワーク深さ$L$がデータの幾何的および統計的性質に対して大きい場合、ネットワーク幅は$L$で十分大きく成長することを示す。 本分析は,実際に動機付けられたモデル問題の文脈における奥行きと幅の具体的な利点を示す。
  論文  参考訳（メタデータ） (2020-08-25T19:20:00Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。