論文の概要: Symmetry-Aware Graph Metanetwork Autoencoders: Model Merging through Parameter Canonicalization

• arxiv url: http://arxiv.org/abs/2511.12601v1
• Date: Sun, 16 Nov 2025 13:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.401219
• Title: Symmetry-Aware Graph Metanetwork Autoencoders: Model Merging through Parameter Canonicalization
• Title（参考訳）: 対称性を考慮したグラフメタネットワークオートエンコーダ:パラメータ正準化によるモデルマージ
• Authors: Odysseas Boufalis, Jorge Carrasco-Pollo, Joshua Rosenthal, Eduardo Terres-Caballero, Alejandro García-Castellanos,
• Abstract要約: 本論文では,ScaleGMNを不変エンコーダとして利用するオートエンコーダフレームワークを提案する。 提案手法は,インプシットニューラルネットワーク(INR)と畳み込みニューラルネットワーク(CNN)を,置換とスケーリングの両方の対称性の下で整列することを示す。 このアプローチは、類似ネットワークが同一盆地内に自然に収束することを保証し、モデルマージを容易にし、損失の高い領域を避ける。
• 参考スコア（独自算出の注目度）: 37.457412158271126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network parameterizations exhibit inherent symmetries that yield multiple equivalent minima within the loss landscape. Scale Graph Metanetworks (ScaleGMNs) explicitly leverage these symmetries by proposing an architecture equivariant to both permutation and parameter scaling transformations. Previous work by Ainsworth et al. (2023) addressed permutation symmetries through a computationally intensive combinatorial assignment problem, demonstrating that leveraging permutation symmetries alone can map networks into a shared loss basin. In this work, we extend their approach by also incorporating scaling symmetries, presenting an autoencoder framework utilizing ScaleGMNs as invariant encoders. Experimental results demonstrate that our method aligns Implicit Neural Representations (INRs) and Convolutional Neural Networks (CNNs) under both permutation and scaling symmetries without explicitly solving the assignment problem. This approach ensures that similar networks naturally converge within the same basin, facilitating model merging, i.e., smooth linear interpolation while avoiding regions of high loss. The code is publicly available on our GitHub repository.
• Abstract（参考訳）: ニューラルネットワークのパラメータ化は、損失ランドスケープ内に複数の等価な最小値をもたらす固有の対称性を示す。 Scale Graph Metanetworks (ScaleGMNs) は、これらの対称性を、置換とパラメータスケーリング変換の両方に同値なアーキテクチャを提案することで明確に活用している。 Ainsworth et al (2023) による以前の研究は、計算集約的な組合せ代入問題を通じて置換対称性に対処し、置換対称性のみを利用することでネットワークを共有損失盆地にマッピングできることを実証した。 本研究では,スケールGMNを不変エンコーダとして利用するオートエンコーダフレームワークを提案する。 実験の結果,提案手法は,代入問題を明示的に解くことなく,置換とスケーリングの両対称性の下で,インプシットニューラルネットワーク(INR)と畳み込みニューラルネットワーク(CNN)の整合性を示す。 このアプローチにより、同様のネットワークが同一盆地内に自然に収束し、モデルマージ、すなわちスムーズな線形補間を容易にし、損失の高い領域を避けることができる。 コードはGitHubリポジトリで公開されています。

関連論文リスト

• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Symmetry-preserving neural networks in lattice field theories [0.0]
  この論文は対称性を尊重するニューラルネットワークを扱い、格子場理論問題に適用する利点を示す。 等変ネットワークを選択する利点は、まず複雑なスカラー場玩具モデル上での翻訳対称性のために説明される。 この議論はゲージ理論にまで拡張され、Lattice Gauge Equivariant Convolutional Neural Networks (L-CNN) が特別に設計されたアドホックである。
  論文  参考訳（メタデータ） (2025-06-14T13:12:25Z)
• Improving Equivariant Networks with Probabilistic Symmetry Breaking [9.164167226137664]
  同変ネットワークは既知の対称性をニューラルネットワークにエンコードし、しばしば一般化を強化する。 これは(1)自己対称性が共通な領域での予測タスク、(2)高対称性の潜在空間から再構成するために対称性を破らなければならない生成モデルの両方に重要な問題を引き起こす。 このような分布を表すのに十分な条件を確立する新しい理論結果を示す。
  論文  参考訳（メタデータ） (2025-03-27T21:04:49Z)
• Scale Equivariant Graph Metanetworks [20.445135424921908]
  本稿では,入力が関数自身である学習機能という,新たな機械学習パラダイムについて述べる。 我々は、スケーリング対称性を取り入れたグラフメタネットワーク(メッセージパッシング)パラダイムを適用するフレームワークである、$textitScale Equivariant Graph MetaNetworks - ScaleGMNs$を提案する。
  論文  参考訳（メタデータ） (2024-06-15T16:41:04Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。