論文の概要: Flopping for FLOPs: Leveraging equivariance for computational efficiency

• arxiv url: http://arxiv.org/abs/2502.05169v1
• Date: Fri, 07 Feb 2025 18:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:36.789962
• Title: Flopping for FLOPs: Leveraging equivariance for computational efficiency
• Title（参考訳）: FLOPのためのフロッピング:計算効率の等価性を活用する
• Authors: Georg Bökman, David Nordström, Fredrik Kahl,
• Abstract要約: 本稿では,パラメータ毎に同じ数の浮動小数点演算(FLOP)を標準の非同変ネットワークに維持しながら対称性を維持する新しい同変ニューラルネットワークを提案する。 提案手法はFLOPと壁面時間の両方を削減し,効率よくスケーラブルな対称性を意識したアーキテクチャを実現するための実用的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 13.909111585519652
• License:
• Abstract: Incorporating geometric invariance into neural networks enhances parameter efficiency but typically increases computational costs. This paper introduces new equivariant neural networks that preserve symmetry while maintaining a comparable number of floating-point operations (FLOPs) per parameter to standard non-equivariant networks. We focus on horizontal mirroring (flopping) invariance, common in many computer vision tasks. The main idea is to parametrize the feature spaces in terms of mirror-symmetric and mirror-antisymmetric features, i.e., irreps of the flopping group. This decomposes the linear layers to be block-diagonal, requiring half the number of FLOPs. Our approach reduces both FLOPs and wall-clock time, providing a practical solution for efficient, scalable symmetry-aware architectures.
• Abstract（参考訳）: ニューラルネットワークへの幾何学的不変性の導入はパラメータ効率を高めるが、典型的には計算コストを増加させる。 本稿では,パラメータ毎に同じ数の浮動小数点演算(FLOP)を標準の非同変ネットワークに維持しながら対称性を維持する新しい同変ニューラルネットワークを提案する。 多くのコンピュータビジョンタスクに共通する水平ミラーリング(フローッピング)不変性に注目した。 主なアイデアは、鏡対称およびミラー反対称な特徴、すなわち、浮動小数点群の不等式で特徴空間をパラメトリズすることである。 これにより線形層はブロック対角線に分解され、FLOPの数が半分になる。 提案手法はFLOPと壁面時間の両方を削減し,効率よくスケーラブルな対称性を意識したアーキテクチャを実現するための実用的なソリューションを提供する。

関連論文リスト

• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  我々は任意の行列群同変をkanに組み込む方法であるEquivariant Kolmogorov-Arnold Networks (EKAN)を提案する。 EKANは、粒子散乱や3体問題といった対称性に関連したタスクにおいて、より小さなデータセットやより少ないパラメータで高い精度を達成する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Integrating Symmetry into Differentiable Planning with Steerable Convolutions [5.916280909373456]
  等変畳み込みネットワークによって動機付けられた経路計画問題を,グリッド上のテキスト信号として扱う。 この場合の値反復は線型同変作用素であり、これは(ステアブルな)畳み込みであることを示す。 我々の実装はVINに基づいており、対称性を取り入れるためにステアブル畳み込みネットワークを使用している。
  論文  参考訳（メタデータ） (2022-06-08T04:58:48Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Universality of parametric Coupling Flows over parametric diffeomorphisms [13.39432329310336]
  Coupling Flows CFlowsに基づく可逆ニューラルネットワークは、画像合成やデータ圧縮など、さまざまな応用がある。 CFlows が Ck-ノルムの任意の微分同相を近似できることを示す。
  論文  参考訳（メタデータ） (2022-02-07T02:10:32Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
  ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。 本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。 数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。 また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
  論文  参考訳（メタデータ） (2021-06-07T16:07:15Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。