論文の概要: Interfaces and Modules: A Scalable Representation for Weight-Space Learning across Architectures

• arxiv url: http://arxiv.org/abs/2610.21995v1
• Date: Thu, 15 Oct 2026 14:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.133282
• Title: Interfaces and Modules: A Scalable Representation for Weight-Space Learning across Architectures
• Title（参考訳）: インターフェースとモジュール: アーキテクチャを越えた軽量な学習のためのスケーラブルな表現
• Abstract要約: 重み空間学習には、パラメータ対称性を尊重し、大規模ネットワークにスケールする表現が必要である。 共有座標置換アクションを中心に構成された型付きグラフを導入する。 コンパイラはサポート対象のPyTorchモデルからこのグラフを導出し、制約によって定義された置換係数を正確に回復する。 UWE(Universal Weight)は、パラメータ特徴に対する局所的同変更新と、不変インタフェースの要約に対するグローバルな注目を組み合わせる。
• 参考スコア（独自算出の注目度）: 0.23518695935661016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight-space learning across architectures requires representations that respect parameter symmetries and scale to large networks. Existing equivariant tensor encoders require architecture-specific symmetry specifications, while neuron graphs make global attention costly. We introduce a typed graph organized around shared coordinate-permutation actions. Its nodes, called interfaces, represent coordinate spaces whose bound tensor axes must be permuted jointly; operation occurrences, called modules, form typed hyperedges. A compiler derives this graph from supported PyTorch models, with exact recovery of the permutation factors defined by its constraints. The Universal Weight Encoder (UWE) combines local equivariant updates to parameter features with global attention over invariant interface summaries. The small number of interfaces makes global attention practical, and a single encoder processes different supported architectures. UWE is competitive with architecture-specific state-of-the-art methods on established benchmarks. On a new zoo of 1,200 transformers spanning 100 architectures, it outperforms the evaluated baselines at ranking networks within unseen architectures, including architectures larger than those used for training, while using substantially less memory.
• Abstract（参考訳）: アーキテクチャ全体にわたる重み空間学習は、パラメータ対称性を尊重し、大規模ネットワークにスケールする表現を必要とする。 既存の同変テンソルエンコーダはアーキテクチャ固有の対称性の仕様を必要とするが、ニューロングラフは世界的な注目を集める。 共有座標置換アクションを中心に構成された型付きグラフを導入する。 界面と呼ばれるそのノードは、有界なテンソル軸が一緒に置換されなければならない座標空間を表し、演算の発生は加群と呼ばれ、型付きハイパーエッジを形成する。 コンパイラはサポート対象のPyTorchモデルからこのグラフを導出し、制約によって定義された置換係数を正確に回復する。 ユニバーサルウェイトエンコーダ (Universal Weight Encoder, UWE) は、パラメータ特徴に対する局所的同変更新と、不変インタフェースの要約に対するグローバルな注目を組み合わせる。 少数のインタフェースがグローバルな注目を集め、単一のエンコーダが異なるアーキテクチャを処理している。 UWEは、確立されたベンチマークにおけるアーキテクチャ固有の最先端メソッドと競合する。 100のアーキテクチャにまたがる1200のトランスフォーマーからなる新しい動物園では、トレーニングに使用されるものよりも大きなアーキテクチャを含む、目に見えないアーキテクチャ内のランキングネットワークにおいて、評価されたベースラインよりもはるかに少ないメモリを使用する。

関連論文リスト

• Unifying Graph Neural Networks Through a Common Layer Equation [75.88127999406392]
  7つのコンポーネントを通して被覆されたアーキテクチャを表現する共通層方程式を導入する。 中央の因子化は、伝達銀行によってエンコードされた情報と、メッセージマップによってエンコードされた動きとを分離する。 この統合を明確化し、標準層とコンポーネント割り当ての作業的削減を通じて、チェック可能にする。
  論文  参考訳（メタデータ） (2026-08-17T04:37:59Z)
• NNiT: Width-Agnostic Neural Network Generation with Structurally Aligned Weight Spaces [15.631276865948097]
  ニューラルネットワーク拡散変換器 (NNiT) を導入し, ウェイトを幅に依存しない方法で生成する。 ManiSkill3のロボティクスタスクでは、NNiTはトレーニング中に見つからないアーキテクチャトポロジで85%の成功を達成し、ベースラインアプローチは一般化に失敗する。
  論文  参考訳（メタデータ） (2026-02-26T20:47:30Z)
• Beyond Canonicalization: How Tensorial Messages Improve Equivariant Message Passing [15.687514300950813]
  制約なく任意のアーキテクチャと統合可能な,ローカル参照フレーム(ローカル標準化)に基づくフレームワークを提案する。 任意の次元のユークリッド空間における幾何学的データに対するメッセージパッシングに適用する。 我々は、テンソルメッセージの優位性を実証し、通常のベクトル回帰および他の標準的な3Dポイントクラウドタスクの競合結果に対する最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-05-24T09:41:06Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Federated Learning with Heterogeneous Architectures using Graph HyperNetworks [154.60662664160333]
  パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。 既存のソリューションとは異なり、当社のフレームワークは、クライアントが同じアーキテクチャタイプを共有することを制限せず、外部データも使用せず、クライアントがモデルアーキテクチャを公開する必要もありません。
  論文  参考訳（メタデータ） (2022-01-20T21:36:25Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。