論文の概要: Equivariant Architectures for Learning in Deep Weight Spaces

• arxiv url: http://arxiv.org/abs/2301.12780v2
• Date: Wed, 31 May 2023 19:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 00:44:17.867331
• Title: Equivariant Architectures for Learning in Deep Weight Spaces
• Title（参考訳）: 重み空間における学習のための等価なアーキテクチャ
• Authors: Aviv Navon, Aviv Shamsian, Idan Achituve, Ethan Fetaya, Gal Chechik, Haggai Maron
• Abstract要約: 重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
• 参考スコア（独自算出の注目度）: 54.61765488960555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing machine learning architectures for processing neural networks in their raw weight matrix form is a newly introduced research direction. Unfortunately, the unique symmetry structure of deep weight spaces makes this design very challenging. If successful, such architectures would be capable of performing a wide range of intriguing tasks, from adapting a pre-trained network to a new domain to editing objects represented as functions (INRs or NeRFs). As a first step towards this goal, we present here a novel network architecture for learning in deep weight spaces. It takes as input a concatenation of weights and biases of a pre-trained MLP and processes it using a composition of layers that are equivariant to the natural permutation symmetry of the MLP's weights: Changing the order of neurons in intermediate layers of the MLP does not affect the function it represents. We provide a full characterization of all affine equivariant and invariant layers for these symmetries and show how these layers can be implemented using three basic operations: pooling, broadcasting, and fully connected layers applied to the input in an appropriate manner. We demonstrate the effectiveness of our architecture and its advantages over natural baselines in a variety of learning tasks.
• Abstract（参考訳）: ニューラルネットワークを生重量行列形式で処理するための機械学習アーキテクチャの設計は、新しく導入された研究方向である。 残念ながら、深い重み空間のユニークな対称性構造は、この設計を非常に困難にしている。 このようなアーキテクチャが成功すれば、トレーニング済みのネットワークを新しいドメインに適応させることから、関数として表現されるオブジェクト(INRやNeRF)の編集まで、幅広い興味深いタスクを実行できるようになるだろう。 この目標に向けての第一歩として、深層空間で学習するための新しいネットワークアーキテクチャを提案する。 これは、事前訓練されたMLPの重みとバイアスの結合を入力として取り、MLPの重みの自然な置換対称性に同値なレイヤーの合成を用いて処理する: MLPの中間層におけるニューロンの順序を変えることは、その表現する機能に影響を与えない。 これらの対称性に対する全てのアフィン同変層と不変層をフルに評価し、これらの層を3つの基本的な操作(プーリング、ブロードキャスト、完全に接続された層)を用いて適切に実装する方法を示す。 我々は,様々な学習タスクにおいて,自然ベースラインに対するアーキテクチャの有効性とそのアドバンテージを実証する。

関連論文リスト

• EKAN: Equivariant Kolmogorov-Arnold Networks [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Engineering flexible machine learning systems by traversing functionally-invariant paths [1.4999444543328289]
  ニューラルネットワークのフレキシブルかつ連続的な適応を提供する微分幾何学フレームワークを導入する。 重み空間における測地路に沿った移動として適応を定式化し,二次目的に対応するネットワークを探索する。 控えめな計算資源を用いて、FIPアルゴリズムは連続的な学習とスパーシフィケーションタスクにおけるアートパフォーマンスの状態を同等に達成する。
  論文  参考訳（メタデータ） (2022-04-30T19:44:56Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。