論文の概要: Permutation Equivariant Neural Functionals

• arxiv url: http://arxiv.org/abs/2302.14040v2
• Date: Sun, 24 Sep 2023 04:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 03:55:30.085461
• Title: Permutation Equivariant Neural Functionals
• Title（参考訳）: 置換同変神経機能
• Authors: Allan Zhou, Kaien Yang, Kaylee Burns, Adriano Cardace, Yiding Jiang, Samuel Sokota, J. Zico Kolter, Chelsea Finn
• Abstract要約: この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
• 参考スコア（独自算出の注目度）: 92.0667671999604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work studies the design of neural networks that can process the weights or gradients of other neural networks, which we refer to as neural functional networks (NFNs). Despite a wide range of potential applications, including learned optimization, processing implicit neural representations, network editing, and policy evaluation, there are few unifying principles for designing effective architectures that process the weights of other networks. We approach the design of neural functionals through the lens of symmetry, in particular by focusing on the permutation symmetries that arise in the weights of deep feedforward networks because hidden layer neurons have no inherent order. We introduce a framework for building permutation equivariant neural functionals, whose architectures encode these symmetries as an inductive bias. The key building blocks of this framework are NF-Layers (neural functional layers) that we constrain to be permutation equivariant through an appropriate parameter sharing scheme. In our experiments, we find that permutation equivariant neural functionals are effective on a diverse set of tasks that require processing the weights of MLPs and CNNs, such as predicting classifier generalization, producing "winning ticket" sparsity masks for initializations, and classifying or editing implicit neural representations (INRs). In addition, we provide code for our models and experiments at https://github.com/AllanYangZhou/nfn.
• Abstract（参考訳）: 本研究は,神経機能ネットワーク(nfns)と呼ばれる他のニューラルネットワークの重みや勾配を処理可能なニューラルネットワークの設計を研究する。 学習された最適化、暗黙のニューラルネットワーク表現の処理、ネットワーク編集、ポリシー評価など、幅広い潜在的なアプリケーションにもかかわらず、他のネットワークの重み付けを処理する効果的なアーキテクチャを設計するための統一的な原則は少ない。 特に,隠れた層ニューロンは固有順序を持たないため,ディープフィードフォワードネットワークの重みに生じる置換対称性に注目して,対称性のレンズを通して神経機能設計にアプローチする。 これらの対称性をインダクティブバイアスとしてエンコードした、置換同変ニューラル汎関数を構築するためのフレームワークを提案する。 このフレームワークの主要なビルディングブロックは、適切なパラメータ共有スキームによって置換同変を制約するNF-Layers(神経機能層)である。 本実験では,mlpとcnnの重みを処理し,分類器の一般化予測,初期化のための「勝利チケット」スパルシティマスクの作成,暗黙的神経表現(inrs)の分類・編集といったタスクにおいて,置換同変ニューラル関数が有効であることを見出した。 さらに、モデルと実験用のコードもhttps://github.com/allanyangzhou/nfnで提供しています。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Resolution-Invariant Image Classification based on Fourier Neural Operators [1.3190581566723918]
  画像分類における一般化ニューラルネットワーク (FNO) の利用について, 標準畳み込みニューラルネットワーク (CNN) と比較して検討した。 我々は、ルベーグ空間上の連続およびFr'echet微分可能なニューラル作用素の例としてFNOアーキテクチャを導出する。
  論文  参考訳（メタデータ） (2023-04-02T10:23:36Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。