論文の概要: Graph Metanetworks for Transformer Based Language Models

• arxiv url: http://arxiv.org/abs/2610.18471v1
• Date: Tue, 13 Oct 2026 14:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:14:41.174782
• Title: Graph Metanetworks for Transformer Based Language Models
• Title（参考訳）: 変圧器に基づく言語モデルのためのグラフメタネット
• Abstract要約: 重み空間学習は、ニューラルネットワークの重みをデータとして扱い、メタネットワークと呼ばれる他のモデルによって処理される。 グラフメタネット上に構築したグラフベースアプローチは,対称性を意識し,幅にまたがって適用可能である。
• 参考スコア（独自算出の注目度）: 27.954798116390787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight-space learning treats the weights of neural networks as data, processed by other models called metanetworks. A key challenge is that different weights can realize the same function, related by a group of symmetries the metanetwork should respect. While symmetry-aware metanetworks for simple architectures such as MLPs are well developed, a comprehensive treatment of transformers, and in particular transformer-based language models, is still missing. Importantly, their weight space has a richer symmetry group: beyond neuron permutations, attention introduces continuous general-linear symmetries of the attention matrices and permutations of entire heads. Existing methods for transformer weights either capture only part of these symmetries or are restricted to a single, fixed architecture, and none accounts for language-model-specific components such as the token embeddings. Building on graph metanetworks, we propose a graph-based approach that is both symmetry-aware and applicable across depths and widths. We formalize a weight-space symmetry group of complete decoder-only language models and provide a graph construction that is invariant to it. We further introduce two new transformer-population datasets with novel tasks, such as training-corpus prediction and fine-tuning detection, on which our approach notably outperforms existing baselines.
• Abstract（参考訳）: 重み空間学習は、ニューラルネットワークの重みをデータとして扱い、メタネットワークと呼ばれる他のモデルによって処理される。 鍵となる課題は、異なる重みが同じ関数を実現できることである。 MLPのような単純なアーキテクチャのための対称性を意識したメタネットはよく開発されているが、トランスフォーマーの包括的処理、特にトランスフォーマーベースの言語モデルはまだ欠落している。 重要なことに、それらの重み空間はよりリッチな対称性群を持ち、ニューロンの置換を超えて、注意は注意行列の連続的な一般線形対称性を導入し、頭部全体の置換をもたらす。 トランスフォーマー重みの既存の方法は、これらの対称性の一部のみをキャプチャするか、単一の固定されたアーキテクチャに制限されるかのいずれかであり、トークン埋め込みのような言語モデル固有のコンポーネントは考慮されていない。 グラフメタネットを基盤として,対称性を意識し,奥行きや幅にも適用可能なグラフベースのアプローチを提案する。 完全デコーダのみの言語モデルの重み空間対称性群を定式化し、それと不変なグラフ構造を提供する。 さらに、トレーニングコーパス予測や微調整検出など、新しいタスクを備えた2つのトランスフォーマー人口データセットを導入し、既存のベースラインを特に上回ります。

関連論文リスト

• NNiT: Width-Agnostic Neural Network Generation with Structurally Aligned Weight Spaces [15.631276865948097]
  ニューラルネットワーク拡散変換器 (NNiT) を導入し, ウェイトを幅に依存しない方法で生成する。 ManiSkill3のロボティクスタスクでは、NNiTはトレーニング中に見つからないアーキテクチャトポロジで85%の成功を達成し、ベースラインアプローチは一般化に失敗する。
  論文  参考訳（メタデータ） (2026-02-26T20:47:30Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Similarity Equivariant Graph Neural Networks for Homogenization of Metamaterials [3.6443770850509423]
  ソフトで多孔質なメカニカルメタマテリアルは、ソフトロボティクス、音の低減、バイオメディシンに重要な応用をもたらすパターン変換を示す。 我々は、代理モデルとして機能するために好意的にスケールする機械学習ベースのアプローチを開発する。 このネットワークは、対称性の少ないグラフニューラルネットワークよりも正確で、データ効率が高いことを示す。
  論文  参考訳（メタデータ） (2024-04-26T12:30:32Z)
• FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
  データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。 本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
  論文  参考訳（メタデータ） (2023-04-28T21:48:31Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。