論文の概要: Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks

• arxiv url: http://arxiv.org/abs/2409.11772v1
• Date: Wed, 18 Sep 2024 07:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 18:48:44.723496
• Title: Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks
• Title（参考訳）: ほぼ同変のネットワークに対する対称性に基づく構造行列
• Authors: Ashwin Samudre, Mircea Petrache, Brian D. Nord, Shubhendu Trivedi,
• Abstract要約: 群行列(英: Group Matrices, GM)は、有限群の正規表現の現代的概念の忘れ去られた前駆体である。 GMは、CNNのすべての基本的な操作を一般的な離散グループに拡張するために使用できる。 GMは、CNNのすべての基本動作を一般的な離散グループに拡張するために使用できることを示す。
• 参考スコア（独自算出の注目度）: 5.187307904567701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There has been much recent interest in designing symmetry-aware neural networks (NNs) exhibiting relaxed equivariance. Such NNs aim to interpolate between being exactly equivariant and being fully flexible, affording consistent performance benefits. In a separate line of work, certain structured parameter matrices -- those with displacement structure, characterized by low displacement rank (LDR) -- have been used to design small-footprint NNs. Displacement structure enables fast function and gradient evaluation, but permits accurate approximations via compression primarily to classical convolutional neural networks (CNNs). In this work, we propose a general framework -- based on a novel construction of symmetry-based structured matrices -- to build approximately equivariant NNs with significantly reduced parameter counts. Our framework integrates the two aforementioned lines of work via the use of so-called Group Matrices (GMs), a forgotten precursor to the modern notion of regular representations of finite groups. GMs allow the design of structured matrices -- resembling LDR matrices -- which generalize the linear operations of a classical CNN from cyclic groups to general finite groups and their homogeneous spaces. We show that GMs can be employed to extend all the elementary operations of CNNs to general discrete groups. Further, the theory of structured matrices based on GMs provides a generalization of LDR theory focussed on matrices with cyclic structure, providing a tool for implementing approximate equivariance for discrete groups. We test GM-based architectures on a variety of tasks in the presence of relaxed symmetry. We report that our framework consistently performs competitively compared to approximately equivariant NNs, and other structured matrix-based compression frameworks, sometimes with a one or two orders of magnitude lower parameter count.
• Abstract（参考訳）: 対称性を意識したニューラルネットワーク (NN) の設計には, ゆるやかな等価性を示すことへの関心が高まっている。 このようなNNは、正確に同変であることと、完全にフレキシブルであることの間に補間することを目的としており、一貫したパフォーマンスのメリットを提供する。 別系統の作業では、低位階(LDR)を特徴とする変位構造を持つ特定のパラメータ行列が、小型のフットプリントNNの設計に使用されている。 変位構造は高速機能と勾配評価を可能にするが、圧縮による正確な近似は古典的畳み込みニューラルネットワーク(CNN)に主に適用できる。 本研究では,対称性に基づく構造行列を新たに構築し,パラメータ数を大幅に削減したほぼ同変NNを構築するための一般フレームワークを提案する。 我々のフレームワークは、いわゆるグループ行列(GM)を用いることで、上記の2つの研究の行を統合する。 GMは、古典的CNNの巡回群から一般有限群とその同質空間への線型操作を一般化する構造行列(LDR行列に似た)の設計を可能にする。 GMは、CNNのすべての基本動作を一般的な離散グループに拡張するために使用できることを示す。 さらに、GM に基づく構造化行列の理論は、巡回構造を持つ行列に焦点をあてた LDR 理論の一般化を提供し、離散群に対して近似等式を実装するための道具を提供する。 我々は、緩和対称性の存在下で、様々なタスクでGMベースのアーキテクチャをテストする。 我々のフレームワークは、ほぼ同変のNNや、その他の構造化された行列ベースの圧縮フレームワークと、時として1～2桁のパラメータ数で、常に競合的に動作していることを報告します。

関連論文リスト

• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Monomial Matrix Group Equivariant Neural Functional Networks [1.797555376258229]
  ネットワーク重みに対するグループアクションの研究を、スケーリング/サイン・フリップの対称性を取り入れて拡張する。 我々はNFNの新しいファミリーをMonomial Matrix Group Equivariant Neural Functional Networks (Monomial-NFN)と名付けた。
  論文  参考訳（メタデータ） (2024-09-18T04:36:05Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Group and Shuffle: Efficient Structured Orthogonal Parametrization [3.540195249269228]
  構造化された行列の新しいクラスを導入し、以前の研究から構造化されたクラスを統一し一般化する。 我々は,テキスト・画像拡散モデルの適応や,言語モデルにおける下流タスクの微調整など,異なる領域での手法を実証的に検証する。
  論文  参考訳（メタデータ） (2024-06-14T13:29:36Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Differentiable Learning of Generalized Structured Matrices for Efficient Deep Neural Networks [16.546708806547137]
  本稿では,高密度非構造体を所望の特性を持つ構造体に置き換えるための効率的なディープニューラルネットワーク(DNN)について検討する。 この課題は、一般的なニューラルネットワークモデルにおける最適な重み行列構造がほとんどの場合不明瞭であり、同じネットワークであっても層ごとに異なるためである。 本稿では,勾配降下による重み行列の効率的な構造を学習するための一般化および微分可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-29T03:07:30Z)
• Implicit Bias of Linear Equivariant Networks [2.580765958706854]
  群同変畳み込みニューラルネットワーク(G-CNN)は畳み込みニューラルネットワーク(CNN)の一般化である 低ランクフーリエ行列係数の解に勾配勾配勾配を学習した$L$層全幅線形G-CNNが収束することを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:34:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。