論文の概要: On the Expressive Power of Permutation-Equivariant Weight-Space Networks

• arxiv url: http://arxiv.org/abs/2602.01083v1
• Date: Sun, 01 Feb 2026 08:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.585979
• Title: On the Expressive Power of Permutation-Equivariant Weight-Space Networks
• Title（参考訳）: 変分等変量重み空間ネットワークの表現力について
• Authors: Adir Dayan, Yam Eitan, Haggai Maron,
• Abstract要約: 重み空間ネットワークの表現性に関する体系的理論を開発する。 まず、すべての顕著な置換同変ネットワークが表現力で等価であることを証明した。 次に、入力重みに関する軽度で自然な仮定の下で、重みと関数空間の設定を確立する。
• 参考スコア（独自算出の注目度）: 22.397589293835424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight-space learning studies neural architectures that operate directly on the parameters of other neural networks. Motivated by the growing availability of pretrained models, recent work has demonstrated the effectiveness of weight-space networks across a wide range of tasks. SOTA weight-space networks rely on permutation-equivariant designs to improve generalization. However, this may negatively affect expressive power, warranting theoretical investigation. Importantly, unlike other structured domains, weight-space learning targets maps operating on both weight and function spaces, making expressivity analysis particularly subtle. While a few prior works provide partial expressivity results, a comprehensive characterization is still missing. In this work, we address this gap by developing a systematic theory for expressivity of weight-space networks. We first prove that all prominent permutation-equivariant networks are equivalent in expressive power. We then establish universality in both weight- and function-space settings under mild, natural assumptions on the input weights, and characterize the edge-case regimes where universality no longer holds. Together, these results provide a strong and unified foundation for the expressivity of weight-space networks.
• Abstract（参考訳）: 重量空間学習は、他のニューラルネットワークのパラメータを直接操作するニューラルネットワークを研究する。 事前訓練されたモデルの可用性の向上により、近年の研究では、幅広いタスクにわたる重み空間ネットワークの有効性が実証されている。 SOTA重み空間ネットワークは、一般化を改善するために置換同変設計に依存している。 しかし、これは表現力に悪影響を及ぼし、理論的調査を保証している。 重要なことは、他の構造化領域とは異なり、重み空間学習の対象は重み空間と関数空間の両方で動作する地図であり、特に表現性解析は微妙である。 いくつかの先行研究は部分的な表現性の結果を提供しているが、包括的特徴はいまだに欠落している。 本研究では,重み空間ネットワークの表現性に関する体系的理論を開発することにより,このギャップに対処する。 まず、すべての顕著な置換同変ネットワークが表現力で等価であることを証明した。 次に、入力重みに対する軽度で自然な仮定の下で、ウェイト空間と関数空間の両方の設定において普遍性を確立し、普遍性がもはや持たないエッジケース体制を特徴づける。 これらの結果は、重み空間ネットワークの表現性のための強く統一された基盤を提供する。

関連論文リスト

• Weight-Space Linear Recurrent Neural Networks [2.77067514910801]
  WARP (Weight-space Adaptive Recurrent Prediction) は、重み空間学習を線形反復で統一する強力なモデルである。 WARPは、様々な分類タスクにおいて最先端のベースラインと一致しているか、あるいは超越しているかを示す。 注目すべきは、我々のモデルの物理インフォームド変種は、次の最良のモデルよりも10倍以上優れています。
  論文  参考訳（メタデータ） (2025-06-01T20:13:28Z)
• The impact of allocation strategies in subset learning on the expressive power of neural networks [0.0]
  一定数の学習可能な重みの割り当てがニューラルネットワークの容量に与える影響について検討する。 線形リカレントニューラルネットワークと線形多層フィードフォワードネットワークにおいて、アロケーションが最大または最小表現力を持つ条件を確立する。 その結果,学習可能なウェイトをネットワーク全体に戦略的に分散する上で重要な役割が強調され,より広範なアロケーションがネットワークの表現力を高めることが示唆された。
  論文  参考訳（メタデータ） (2025-02-10T09:43:43Z)
• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  固定ランダム重み付きフィードフォワードニューラルネットワークは,任意の連続関数をコンパクトな集合上で近似することができることを示す。 我々の発見は神経科学に関係しており、シナプスの重みを変えることなく、またAIにも、動的に行動に関係のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Engineering flexible machine learning systems by traversing functionally-invariant paths [1.4999444543328289]
  ニューラルネットワークのフレキシブルかつ連続的な適応を提供する微分幾何学フレームワークを導入する。 重み空間における測地路に沿った移動として適応を定式化し,二次目的に対応するネットワークを探索する。 控えめな計算資源を用いて、FIPアルゴリズムは連続的な学習とスパーシフィケーションタスクにおけるアートパフォーマンスの状態を同等に達成する。
  論文  参考訳（メタデータ） (2022-04-30T19:44:56Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。