論文の概要: Equivariant Polynomial Functional Networks

• arxiv url: http://arxiv.org/abs/2410.04213v1
• Date: Sat, 5 Oct 2024 16:10:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 09:11:41.513247
• Title: Equivariant Polynomial Functional Networks
• Title（参考訳）: 等変多項式関数ネットワーク
• Authors: Thieu N. Vo, Viet-Hoang Tran, Tho Tran Huu, An Nguyen The, Thanh Tran, Minh-Khoi Nguyen-Nhat, Duy-Tung Pham, Tan Minh Nguyen,
• Abstract要約: ニューラルネットワーク(NFN)の鍵となる設計原理は、入力ニューラルネットワークの接続構造に固有の置換とスケーリングの対称性に固執することである。 近年のNFNは、グラフベースのメッセージパッシング機構またはパラメータ共有機構に基づいて、置換とスケーリングの等式が提案されている。 MAG-NFN(Monomial mAtrix Group Equivariant Polynomial NFN)の開発を目的とした新しい解法を提案する。
• 参考スコア（独自算出の注目度）: 2.3963215252605172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Functional Networks (NFNs) have gained increasing interest due to their wide range of applications, including extracting information from implicit representations of data, editing network weights, and evaluating policies. A key design principle of NFNs is their adherence to the permutation and scaling symmetries inherent in the connectionist structure of the input neural networks. Recent NFNs have been proposed with permutation and scaling equivariance based on either graph-based message-passing mechanisms or parameter-sharing mechanisms. However, graph-based equivariant NFNs suffer from high memory consumption and long running times. On the other hand, parameter-sharing-based NFNs built upon equivariant linear layers exhibit lower memory consumption and faster running time, yet their expressivity is limited due to the large size of the symmetric group of the input neural networks. The challenge of designing a permutation and scaling equivariant NFN that maintains low memory consumption and running time while preserving expressivity remains unresolved. In this paper, we propose a novel solution with the development of MAGEP-NFN (Monomial mAtrix Group Equivariant Polynomial NFN). Our approach follows the parameter-sharing mechanism but differs from previous works by constructing a nonlinear equivariant layer represented as a polynomial in the input weights. This polynomial formulation enables us to incorporate additional relationships between weights from different input hidden layers, enhancing the model's expressivity while keeping memory consumption and running time low, thereby addressing the aforementioned challenge. We provide empirical evidence demonstrating that MAGEP-NFN achieves competitive performance and efficiency compared to existing baselines.
• Abstract（参考訳）: ニューラルネットワーク(NFN)は、暗黙の表現から情報を抽出し、ネットワークの重みを編集し、ポリシーを評価するなど、幅広い応用により、関心が高まっている。 NFNの鍵となる設計原理は、入力ニューラルネットワークのコネクショナリスト構造に固有の置換とスケーリングの対称性に固執することである。 近年のNFNは、グラフベースのメッセージパッシング機構またはパラメータ共有機構に基づいて、置換とスケーリングの等式が提案されている。 しかし、グラフベースの同変NFNは高いメモリ消費と長い実行時間に悩まされる。 一方、等変線形層上に構築されたパラメータ共有型NFNは、メモリ消費の低減と実行時間の高速化を図っているが、入力ニューラルネットワークの対称群が大きいため、その表現性は制限されている。 表現性を維持しながら低メモリ消費と実行時間を維持できる置換およびスケーリング同変NFNを設計するという課題は未解決のままである。 本稿では, MAGEP-NFN (Monomial mAtrix Group Equivariant Polynomial NFN) を開発した新しい手法を提案する。 提案手法はパラメータ共有機構に従うが,入力重みの多項式として表される非線形同変層を構築することで,従来の研究と異なる。 この多項式定式化により、異なる入力隠蔽層からの重み関係を付加し、メモリ消費と実行時間を低く保ちながらモデルの表現性を高め、上記の課題に対処することができる。 我々は、MAGEP-NFNが既存のベースラインと比較して、競争性能と効率を達成することを示す実証的な証拠を提供する。

関連論文リスト

• Monomial Matrix Group Equivariant Neural Functional Networks [1.797555376258229]
  ネットワーク重みに対するグループアクションの研究を、スケーリング/サイン・フリップの対称性を取り入れて拡張する。 我々はNFNの新しいファミリーをMonomial Matrix Group Equivariant Neural Functional Networks (Monomial-NFN)と名付けた。
  論文  参考訳（メタデータ） (2024-09-18T04:36:05Z)
• Gaussian Process Neural Additive Models [3.7969209746164325]
  ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T20:29:34Z)
• Equivariant Matrix Function Neural Networks [1.8717045355288808]
  解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。 MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
  論文  参考訳（メタデータ） (2023-10-16T14:17:00Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Smooth Mathematical Function from Compact Neural Networks [0.0]
  NNは、非常に正確で、非常にスムーズな関数を生成します。 新しいアクティベーション関数,メタバッチ法,数値データの特徴,メタパラメータを用いたメタ拡張について述べる。
  論文  参考訳（メタデータ） (2022-12-31T11:33:24Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• Equivariant Neural Network for Factor Graphs [83.26543234955855]
  因子同変ニューラルネットワーク(FE-NBP)と因子同変グラフニューラルネットワーク(FE-GNN)の2つの推論モデルを提案する。 FE-NBPは小さなデータセットで最先端のパフォーマンスを達成する一方、FE-GNNは大規模なデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-09-29T06:54:04Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。