論文の概要: Neural Functional Transformers

• arxiv url: http://arxiv.org/abs/2305.13546v1
• Date: Mon, 22 May 2023 23:38:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:12:25.160013
• Title: Neural Functional Transformers
• Title（参考訳）: 神経機能変換器
• Authors: Allan Zhou, Kaien Yang, Yiding Jiang, Kaylee Burns, Winnie Xu, Samuel Sokota, J. Zico Kolter, Chelsea Finn
• Abstract要約: 本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
• 参考スコア（独自算出の注目度）: 99.98750156515437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent success of neural networks as implicit representation of data has driven growing interest in neural functionals: models that can process other neural networks as input by operating directly over their weight spaces. Nevertheless, constructing expressive and efficient neural functional architectures that can handle high-dimensional weight-space objects remains challenging. This paper uses the attention mechanism to define a novel set of permutation equivariant weight-space layers and composes them into deep equivariant models called neural functional Transformers (NFTs). NFTs respect weight-space permutation symmetries while incorporating the advantages of attention, which have exhibited remarkable success across multiple domains. In experiments processing the weights of feedforward MLPs and CNNs, we find that NFTs match or exceed the performance of prior weight-space methods. We also leverage NFTs to develop Inr2Array, a novel method for computing permutation invariant latent representations from the weights of implicit neural representations (INRs). Our proposed method improves INR classification accuracy by up to $+17\%$ over existing methods. We provide an implementation of our layers at https://github.com/AllanYangZhou/nfn.
• Abstract（参考訳）: データの暗黙的表現としてのニューラルネットワークの最近の成功は、ニューラルネットワークへの関心の高まりを促している: 他のニューラルネットワークを入力として、重み空間上で直接操作することで処理できるモデルである。 しかし、高次元の重み空間を扱える表現的かつ効率的な神経機能アーキテクチャの構築は依然として困難である。 本稿では,ニューラルネットワーク変換器 (NFT) と呼ばれる,新しい置換同変重み空間層を定義し,それらを深層同変モデルに構成する。 NFTは重み空間置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 フィードフォワード MLP と CNN の重み処理実験では,NFT が従来の重み空間法の性能に適合するか,上回っていることがわかった。 また,nftsを利用してinr2arrayを開発した。inr2arrayは,暗黙的神経表現(inrs)の重みから置換不変な潜在表現を計算する新しい手法である。 提案手法は,既存の手法よりも最大$+17\%の精度でINR分類精度を向上させる。 レイヤの実装はhttps://github.com/allanyangzhou/nfnで行います。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Smooth Mathematical Function from Compact Neural Networks [0.0]
  NNは、非常に正確で、非常にスムーズな関数を生成します。 新しいアクティベーション関数,メタバッチ法,数値データの特徴,メタパラメータを用いたメタ拡張について述べる。
  論文  参考訳（メタデータ） (2022-12-31T11:33:24Z)
• Variational Tensor Neural Networks for Deep Learning [0.0]
  深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。 これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。 我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
  論文  参考訳（メタデータ） (2022-11-26T20:24:36Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• E(n) Equivariant Graph Neural Networks [86.75170631724548]
  本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。 既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
  論文  参考訳（メタデータ） (2021-02-19T10:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。