論文の概要: CrossGMN: Graph Metanetworks for Cross-Architecture Weight-Space Transformations

• arxiv url: http://arxiv.org/abs/2610.01649v1
• Date: Thu, 01 Oct 2026 13:13:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.146034
• Title: CrossGMN: Graph Metanetworks for Cross-Architecture Weight-Space Transformations
• Title（参考訳）: CrossGMN: クロスアーキテクチャの軽量空間変換のためのグラフメタネットワーク
• Abstract要約: 我々は、対称保存型クロスネットワークメッセージパッシングを通じて両方のネットワークを処理するグラフメタネットワークであるCrossGMNを紹介する。 我々は、クロスGMN が一般仮定の下でコンパクト集合上の連続的クロスアーキテクチャ作用素に対して普遍的であることを証明する。
• 参考スコア（独自算出の注目度）: 22.397589293835424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight-space networks operate directly on parameters of other neural networks, enabling tasks such as predicting model properties, editing trained models, and generating weights. Weight-space symmetries such as neuron permutations make equivariance a key design principle. However, existing equivariant weight-space architectures have primarily been studied for transformations that preserve the network architecture. In contrast, many practical transformations, including model compression and upscaling, map a trained source network into a target network with a different architecture. In this setting, the source and target permutation symmetries act on different parameter spaces, making equivariance less straightforward to formulate. Our key idea for addressing this mismatch is to reformulate cross-architecture operators with two inputs: a trained source network and an initialization of the target network. This lets us define equivariant cross-architecture operators that refine the initialization of the target network using information from the source network, while being invariant to source-network permutations and equivariant to target-network permutations. Based on this formulation, we introduce CrossGMN, a graph metanetwork that jointly processes both networks through symmetry-preserving cross-network message passing. We prove CrossGMN is universal for continuous cross-architecture operators on compact sets under a general-position assumption. We evaluate CrossGMN for model compression, predicting a smaller network's parameters to accelerate subsequent knowledge distillation. Across 2-D and 3-D INRs and image classification with MLPs, CNNs, and Vision Transformers, CrossGMN speeds up distillation by up to 8.89x, transfers across datasets without retraining (3.78x), and a single model can accelerate compression from heterogeneous source architectures into a common target architecture.
• Abstract（参考訳）: 重み空間ネットワークは、他のニューラルネットワークのパラメータを直接操作し、モデル特性の予測、トレーニングされたモデルの編集、重みの生成といったタスクを可能にする。 ニューロンの置換のような重み空間対称性は、等式を重要な設計原理とする。 しかし、既存の等変量空間アーキテクチャは、主にネットワークアーキテクチャを保存する変換のために研究されている。 対照的に、モデル圧縮やアップスケーリングを含む多くの実用的な変換は、トレーニングされたソースネットワークを異なるアーキテクチャを持つターゲットネットワークにマッピングする。 この設定では、ソースとターゲットの置換対称性が異なるパラメータ空間に作用し、等式が定式化されにくくなる。 このミスマッチに対処するための重要なアイデアは、トレーニングされたソースネットワークとターゲットネットワークの初期化という、2つの入力でクロスアーキテクチャ演算子を再構成することです。 これにより、ソースネットワークからの情報を用いてターゲットネットワークの初期化を洗練し、ソースネットワークの置換に不変であり、ターゲットネットワークの置換に同変である等変クロスアーキテクチャ演算子を定義することができる。 この定式化に基づいて、対称保存型クロスネットワークメッセージパッシングを通じて両ネットワークを協調処理するグラフメタネットワークであるCrossGMNを導入する。 我々は、クロスGMNが一般仮定の下でコンパクト集合上の連続的クロスアーキテクチャ作用素に対して普遍的であることを証明する。 我々はCrossGMNをモデル圧縮として評価し、より小さなネットワークのパラメータを予測し、その後の知識蒸留を加速する。 2次元および3次元INRとMLP、CNN、ビジョントランスフォーマーによる画像分類により、CrossGMNは蒸留を最大8.89倍スピードアップし、再トレーニングなしでデータセットを転送し、異種ソースアーキテクチャから共通のターゲットアーキテクチャへの圧縮を加速することができる。

関連論文リスト

• Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation [65.70290789922743]
  フローマッチング速度場を置換同変グラフメタネットワークでパラメータ化する。 実験により,本手法は,独立に訓練されたコレクションの精度,機能的類似度,重量類似度に関する共同統計を密接に再現することを示した。
  論文  参考訳（メタデータ） (2026-09-26T18:04:17Z)
• NNiT: Width-Agnostic Neural Network Generation with Structurally Aligned Weight Spaces [15.631276865948097]
  ニューラルネットワーク拡散変換器 (NNiT) を導入し, ウェイトを幅に依存しない方法で生成する。 ManiSkill3のロボティクスタスクでは、NNiTはトレーニング中に見つからないアーキテクチャトポロジで85%の成功を達成し、ベースラインアプローチは一般化に失敗する。
  論文  参考訳（メタデータ） (2026-02-26T20:47:30Z)
• Symmetry-Aware Graph Metanetwork Autoencoders: Model Merging through Parameter Canonicalization [37.457412158271126]
  本論文では,ScaleGMNを不変エンコーダとして利用するオートエンコーダフレームワークを提案する。 提案手法は,インプシットニューラルネットワーク(INR)と畳み込みニューラルネットワーク(CNN)を,置換とスケーリングの両方の対称性の下で整列することを示す。 このアプローチは、類似ネットワークが同一盆地内に自然に収束することを保証し、モデルマージを容易にし、損失の高い領域を避ける。
  論文  参考訳（メタデータ） (2025-11-16T13:57:50Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
  本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-30T15:38:37Z)
• Meta Deformation Network: Meta Functionals for Shape Correspondence [8.93634077640076]
  変形による3次元形状マッチングのための「メタ変形ネットワーク」という新しい手法を提案する。 深層ニューラルネットワークは、学習されたテンプレートとクエリ形状との対応性を変形を介して与えることを目的とした第2のニューラルネットワークのパラメータに参照形状をマッピングする。 実験では,メタ変形ネットワークが,非動的パラメータを持つ従来のデコーダ設計を用いたMPI-FAUSTインターチャレンジの改善につながることを示す。
  論文  参考訳（メタデータ） (2020-06-26T02:28:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。