論文の概要: Quasi-Equivariant Metanetworks

• arxiv url: http://arxiv.org/abs/2604.23720v1
• Date: Sun, 26 Apr 2026 14:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.522145
• Title: Quasi-Equivariant Metanetworks
• Title（参考訳）: 準同変メタネット
• Authors: Viet-Hoang Tran, An Nguyen, Benoît Guérand, Thieu N. Vo, Tan M. Nguyen,
• Abstract要約: 準同変メタネットの新たな概念を紹介する。 準同変なメタネットは対称性の保存と表現表現率のトレードオフを良好に達成できることを示す。 これらの知見は、より表現力が高く機能的に堅牢なメタネットの設計の基礎となる。
• 参考スコア（独自算出の注目度）: 3.4069385563446684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Metanetworks are neural architectures designed to operate directly on pretrained weights to perform downstream tasks. However, the parameter space serves only as a proxy for the underlying function class, and the parameter-function mapping is inherently non-injective: distinct parameter configurations may yield identical input-output behaviors. As a result, metanetworks that rely solely on raw parameters risk overlooking the intrinsic symmetries of the architecture. Reasoning about functional identity is therefore essential for effective metanetwork design, motivating the development of equivariant metanetworks, which incorporate equivariance principles to respect architectural symmetries. Existing approaches, however, typically enforce strict equivariance, which imposes rigid constraints and often leads to sparse and less expressive models. To address this limitation, we introduce the novel concept of quasi-equivariance, which allows metanetworks to move beyond the rigidity of strict equivariance while still preserving functional identity. We lay down a principled basis for this framework and demonstrate its broad applicability across diverse neural architectures, including feedforward, convolutional, and transformer networks. Through empirical evaluation, we show that quasi-equivariant metanetworks achieve good trade-offs between symmetry preservation and representational expressivity. These findings advance the theoretical understanding of weight-space learning and provide a principled foundation for the design of more expressive and functionally robust metanetworks.
• Abstract（参考訳）: Metanetworksは、トレーニング済み重量を直接操作して下流タスクを実行するように設計されたニューラルネットワークである。 しかし、パラメータ空間は基礎となる関数クラスのプロキシとしてのみ機能し、パラメータ-関数マッピングは本質的に非インジェクティブである。 結果として、生パラメータのみに依存するメタネットワークは、アーキテクチャの本質的な対称性を見渡すリスクを負うことになる。 したがって、機能的アイデンティティに関する推論は効果的なメタネット設計に不可欠であり、アーキテクチャの対称性を尊重するために同値原理を取り入れた同変メタネットの開発を動機付けている。 しかし、既存のアプローチは通常厳密な等式を強制し、厳密な制約を課し、しばしばスパースで表現力の低いモデルにつながる。 この制限に対処するため、準等分散という新しい概念を導入し、機能的アイデンティティを保ちながら、メタネットワークが厳密な等分散の剛性を超えて移動できるようにする。 我々は、このフレームワークの原則を定め、フィードフォワード、畳み込み、トランスフォーマーネットワークを含む様々なニューラルネットワークに適用可能であることを実証した。 経験的評価により,準同変メタネットは対称性の保存と表現表現率のトレードオフが良好であることを示す。 これらの知見は、重量空間学習の理論的理解を前進させ、より表現力があり機能的に堅牢なメタネットの設計の基礎となる。

関連論文リスト

• Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
  本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。 提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。 我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
  論文  参考訳（メタデータ） (2025-09-27T19:43:04Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• On Universality Classes of Equivariant Networks [9.137637807153464]
  分離制約を超えた同変ニューラルネットワークの近似パワーについて検討する。 分離電力が表現力を完全に捉えていないことを示す。 浅い同変ネットワークが普遍性を達成できるような設定を同定する。
  論文  参考訳（メタデータ） (2025-06-02T22:07:52Z)
• Spectral Normalization and Voigt-Reuss net: A universal approach to microstructure-property forecasting with physical guarantees [0.0]
  設計プロセスにおける重要なステップは、効果的な機械的、熱的、あるいは一般的には弾性特性の迅速な評価である。 古典的なシミュレーションに基づくアプローチは、例えば有限要素やFFTベースの解法を使うが、かなりの計算資源を必要とする。 本稿では,これらの境界を優先的に適用するスペクトル正規化手法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T12:21:57Z)
• Improving Equivariant Networks with Probabilistic Symmetry Breaking [9.164167226137664]
  同変ネットワークは既知の対称性をニューラルネットワークにエンコードし、しばしば一般化を強化する。 これは(1)自己対称性が共通な領域での予測タスク、(2)高対称性の潜在空間から再構成するために対称性を破らなければならない生成モデルの両方に重要な問題を引き起こす。 このような分布を表すのに十分な条件を確立する新しい理論結果を示す。
  論文  参考訳（メタデータ） (2025-03-27T21:04:49Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
  異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。 我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。 我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-02T13:55:38Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Equivariance and generalization in neural networks [0.0]
  ネットワーク特性間の翻訳的等式を組み込んだ結果に焦点をあてる。 等変ネットワークの利点は、複素スカラー場の理論を研究することによって実証される。 ほとんどのタスクにおいて、最良の同変アーキテクチャは、非同変アーキテクチャよりもはるかに優れた性能と一般化を達成できる。
  論文  参考訳（メタデータ） (2021-12-23T12:38:32Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。