Fugu-MT 論文翻訳(概要): Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks

論文の概要: Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks

arxiv url: http://arxiv.org/abs/2409.11772v2
Date: Fri, 18 Apr 2025 05:56:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-28 23:27:25.546234
Title: Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks
Title（参考訳）: ほぼ同変のネットワークに対する対称性に基づく構造行列
Authors: Ashwin Samudre, Mircea Petrache, Brian D. Nord, Shubhendu Trivedi,
Abstract要約: 群行列 (GM) は、有限群の正規表現の現代的な概念の先駆けである。 GM は古典的 LDR 理論を一般離散群に一般化できることを示す。我々のフレームワークは、ほぼ同変のNNや他の構造化行列ベースの手法と競合的に機能する。
参考スコア（独自算出の注目度）: 5.187307904567701
License: http://creativecommons.org/licenses/by/4.0/
Abstract: There has been much recent interest in designing neural networks (NNs) with relaxed equivariance, which interpolate between exact equivariance and full flexibility for consistent performance gains. In a separate line of work, structured parameter matrices with low displacement rank (LDR) -- which permit fast function and gradient evaluation -- have been used to create compact NNs, though primarily benefiting classical convolutional neural networks (CNNs). In this work, we propose a framework based on symmetry-based structured matrices to build approximately equivariant NNs with fewer parameters. Our approach unifies the aforementioned areas using Group Matrices (GMs), a forgotten precursor to the modern notion of regular representations of finite groups. GMs allow the design of structured matrices similar to LDR matrices, which can generalize all the elementary operations of a CNN from cyclic groups to arbitrary finite groups. We show GMs can also generalize classical LDR theory to general discrete groups, enabling a natural formalism for approximate equivariance. We test GM-based architectures on various tasks with relaxed symmetry and find that our framework performs competitively with approximately equivariant NNs and other structured matrix-based methods, often with one to two orders of magnitude fewer parameters.
Abstract（参考訳）: ニューラルネットワーク(NN)を緩和された等分散で設計することに対する関心は、厳密な等分散と、一貫したパフォーマンス向上のための完全な柔軟性の間の間にある。別系統の作業では、高速関数と勾配評価を可能にする低変位ランク(LDR)の構造化パラメータ行列がコンパクトNNの作成に使われてきたが、主に古典的畳み込みニューラルネットワーク(CNN)の恩恵を受けている。本研究では,パラメータが少ないほぼ同変のNNを構築するために,対称性に基づく構造行列に基づくフレームワークを提案する。我々のアプローチは、群行列 (GMs) を用いて上記の領域を統一するが、これは有限群の正規表現の現代的概念の忘れ去られた前駆体である。 GMはLDR行列に似た構造行列の設計を可能にし、CNNのすべての基本的な操作を巡回群から任意の有限群に一般化することができる。 GMは古典的LDR理論を一般離散群に一般化し、近似同値の自然な定式化を可能にすることを示す。我々は、緩和対称性を持つ様々なタスクでGMベースのアーキテクチャをテストし、我々のフレームワークは、ほぼ同変のNNや他の構造的行列ベースの手法と、しばしば1桁から2桁のパラメータで競合的に機能することを発見した。

関連論文リスト

Learning Symmetries via Weight-Sharing with Doubly Stochastic Tensors [46.59269589647962]
グループ平等は、ディープラーニングにおいて価値ある帰納的バイアスとして現れてきた。群同変法は、利害の群を事前に知る必要がある。データセットが強い対称性を示すと、置換行列は正規群表現に収束することを示す。
論文参考訳（メタデータ） (2024-12-05T20:15:34Z)
Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文参考訳（メタデータ） (2024-10-01T06:34:58Z)
Monomial Matrix Group Equivariant Neural Functional Networks [1.797555376258229]
ネットワーク重みに対するグループアクションの研究を、スケーリング/サイン・フリップの対称性を取り入れて拡張する。我々はNFNの新しいファミリーをMonomial Matrix Group Equivariant Neural Functional Networks (Monomial-NFN)と名付けた。
論文参考訳（メタデータ） (2024-09-18T04:36:05Z)
Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
論文参考訳（メタデータ） (2024-07-15T07:11:44Z)
Group and Shuffle: Efficient Structured Orthogonal Parametrization [3.540195249269228]
構造化された行列の新しいクラスを導入し、以前の研究から構造化されたクラスを統一し一般化する。我々は,テキスト・画像拡散モデルの適応や,言語モデルにおける下流タスクの微調整など,異なる領域での手法を実証的に検証する。
論文参考訳（メタデータ） (2024-06-14T13:29:36Z)
Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文参考訳（メタデータ） (2024-05-22T17:23:15Z)
Differentiable Learning of Generalized Structured Matrices for Efficient Deep Neural Networks [16.546708806547137]
本稿では,高密度非構造体を所望の特性を持つ構造体に置き換えるための効率的なディープニューラルネットワーク(DNN)について検討する。この課題は、一般的なニューラルネットワークモデルにおける最適な重み行列構造がほとんどの場合不明瞭であり、同じネットワークであっても層ごとに異なるためである。本稿では,勾配降下による重み行列の効率的な構造を学習するための一般化および微分可能なフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-29T03:07:30Z)
Architectural Optimization over Subgroups for Equivariant Neural Networks [0.0]
準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-10-11T14:37:29Z)
Implicit Bias of Linear Equivariant Networks [2.580765958706854]
群同変畳み込みニューラルネットワーク(G-CNN)は畳み込みニューラルネットワーク(CNN)の一般化である低ランクフーリエ行列係数の解に勾配勾配勾配を学習した$L$層全幅線形G-CNNが収束することを示す。
論文参考訳（メタデータ） (2021-10-12T15:34:25Z)
Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文参考訳（メタデータ） (2021-10-07T11:05:23Z)
Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
論文参考訳（メタデータ） (2021-06-06T21:53:54Z)
ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文参考訳（メタデータ） (2020-09-04T20:41:47Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。