論文の概要: Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation

• arxiv url: http://arxiv.org/abs/2609.32833v1
• Date: Sat, 26 Sep 2026 18:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:48:21.526436
• Title: Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation
• Title（参考訳）: 配向自由なニューラルウェイト生成のための置換同変フローマッチング
• Abstract要約: フローマッチング速度場を置換同変グラフメタネットワークでパラメータ化する。 実験により,本手法は,独立に訓練されたコレクションの精度,機能的類似度,重量類似度に関する共同統計を密接に再現することを示した。
• 参考スコア（独自算出の注目度）: 65.70290789922743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A trained neural network can be represented by a parameter vector in high dimensions. Learning distributions over these vectors enables the generation of new models across various tasks and architectures. A central challenge is permutation symmetry: permuting hidden neurons can produce distant parameter vectors representing the same function. This introduces variations that a generative model must account for when learning from trained networks. Existing methods typically address this using networks derived from a common base model or costly approximate neuron alignment. We instead parameterize a flow-matching velocity field with a permutation-equivariant Graph Meta Network, enabling direct learning from independently trained networks without alignment. Extensive experiments show that our method closely reproduces the joint statistics of accuracy, functional similarity, and weight similarity of independently trained collections, providing evidence of generation beyond checkpoint memorization. A single conditional model also generates task-specific networks on heterogeneous architectures and generalizes to unseen hidden-width configurations. On a tabular domain-shift task, intermediate conditioning produces individual networks with performance comparable to logit ensembles across both domains. Taken together, our results show how permutation equivariance enables learning from diverse collections of independently trained networks without permutation alignment.
• Abstract（参考訳）: 訓練されたニューラルネットワークは、高次元のパラメータベクトルで表現することができる。 これらのベクトル上の分布を学習することで、様々なタスクやアーキテクチャにまたがる新しいモデルの生成が可能になる。 隠れたニューロンを置換することは、同じ関数を表す遠いパラメータベクトルを生成することができる。 これは、訓練されたネットワークから学習する際に、生成モデルが考慮しなければならないバリエーションを導入する。 既存の手法は通常、共通のベースモデルから派生したネットワークや、高価な近似ニューロンアライメントを用いてこの問題に対処する。 代わりに、フローマッチング速度場を置換同変グラフメタネットワークでパラメータ化し、アライメントなしで独立に訓練されたネットワークから直接学習できるようにする。 大規模実験により,本手法は,個別に訓練したコレクションの精度,機能的類似性,重量類似性に関する共同統計を密に再現し,チェックポイント記憶以上の生成の証拠を提供する。 単一条件モデルもまた異種アーキテクチャ上のタスク固有ネットワークを生成し、隠蔽幅構成に一般化する。 表形式でのドメインシフトタスクでは、中間条件付けは、両方のドメインにまたがるロジットアンサンブルに匹敵するパフォーマンスを持つ個々のネットワークを生成する。 この結果から、置換等分散が、置換アライメントを伴わずに、独立に訓練されたネットワークの多様な集合から学習できることを示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Sampling weights of deep neural networks [1.2370077627846041]
  完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。 教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。 サンプルネットワークが普遍近似器であることを証明する。
  論文  参考訳（メタデータ） (2023-06-29T10:13:36Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Training or Architecture? How to Incorporate Invariance in Neural Networks [14.162739081163444]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。 このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
  論文  参考訳（メタデータ） (2021-06-18T10:31:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。