論文の概要: A Diagrammatic Approach to Improve Computational Efficiency in Group Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2412.10837v1
• Date: Sat, 14 Dec 2024 14:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:59:49.712552
• Title: A Diagrammatic Approach to Improve Computational Efficiency in Group Equivariant Neural Networks
• Title（参考訳）: 群同変ニューラルネットワークの計算効率向上のためのダイアグラム的アプローチ
• Authors: Edward Pearce-Crump, William J. Knottenbelt,
• Abstract要約: 群同変ニューラルネットワークは、データが基礎となる対称性を知っているアプリケーションでよく一般化する能力のために、重要性が増している。 近年,高次テンソルパワー空間を層として用いたネットワークのクラスの特徴化は,それらに有意なポテンシャルがあることを示唆している。 これらのネットワーク内のテンソルパワー層間を4つのグループでマッピングする任意の同変重み行列に対する高速行列乗算アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 1.9643748953805935
• License:
• Abstract: Group equivariant neural networks are growing in importance owing to their ability to generalise well in applications where the data has known underlying symmetries. Recent characterisations of a class of these networks that use high-order tensor power spaces as their layers suggest that they have significant potential; however, their implementation remains challenging owing to the prohibitively expensive nature of the computations that are involved. In this work, we present a fast matrix multiplication algorithm for any equivariant weight matrix that maps between tensor power layer spaces in these networks for four groups: the symmetric, orthogonal, special orthogonal, and symplectic groups. We obtain this algorithm by developing a diagrammatic framework based on category theory that enables us to not only express each weight matrix as a linear combination of diagrams but also makes it possible for us to use these diagrams to factor the original computation into a series of steps that are optimal. We show that this algorithm improves the Big-$O$ time complexity exponentially in comparison to a na\"{i}ve matrix multiplication.
• Abstract（参考訳）: 群同変ニューラルネットワークは、データが基礎となる対称性を知っているアプリケーションでよく一般化する能力のために、重要性が増している。 近年,高次テンソルパワー空間を層として用いたネットワークのクラスの特徴化は,それらが有意な可能性を示唆している。 本研究では、対称、直交、特殊直交、シンプレクティックの4つの群に対して、これらのネットワーク内のテンソルパワー層間を写像する任意の同変重み行列に対する高速行列乗法を提案する。 このアルゴリズムはダイアグラムの線形結合として各重み行列を表現できるだけでなく、これらのダイアグラムを用いて元の計算を最適な一連のステップに分解することを可能にする。 このアルゴリズムは、na\"{i}ve 行列の乗算と比較して、指数関数的にBig-O$時間複雑性を改善する。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Connecting Permutation Equivariant Neural Networks and Partition Diagrams [0.0]
  置換同変ニューラルネットワークに現れる重み行列はすべて、シュル=ワイル双対性から得られることを示す。 特に、シュル=ワイル双対性を適用して、ウェイト行列自身を計算するための単純で図式的な手法を導出する。
  論文  参考訳（メタデータ） (2022-12-16T18:48:54Z)
• Equivariant neural networks for recovery of Hadamard matrices [0.7742297876120561]
  本稿では,行列の列と行の置換に同値であるように設計されたメッセージパッシングニューラルネットワークアーキテクチャを提案する。 マルチレイヤパーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、さらにはトランスフォーマーといった従来のアーキテクチャに対する利点を説明している。
  論文  参考訳（メタデータ） (2022-01-31T12:07:07Z)
• Quantum-inspired event reconstruction with Tensor Networks: Matrix Product States [0.0]
  ニューラルネットワークは量子力学の概念を機械学習技術に結びつけるのに理想的な手段であることを示す。 エンタングルメントのエントロピーは,ネットワークの学習内容の解釈に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-15T18:00:02Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。