論文の概要: Transferable Graph Metanetworks

• arxiv url: http://arxiv.org/abs/2610.00420v1
• Date: Wed, 30 Sep 2026 15:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.651848
• Title: Transferable Graph Metanetworks
• Title（参考訳）: 転送可能なグラフメタネット
• Abstract要約: 重み空間ネットワーク(メタネットワーク)は、別のニューラルネットワークの重みを入力として取り、その特性を予測する。 本稿では,異なる幅の入力ネットワーク間での性能伝達を可能にするTransferable Graph Metanetworksを提案する。
• 参考スコア（独自算出の注目度）: 33.941903957438754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A weight space network (or metanetwork) takes the weights of another neural network as input and predicts properties of it. Most prior work trains such models on input networks of one or a few fixed sizes and evaluates them in-distribution. The few attempts at out-of-distribution size generalization remain limited in scope and have achieved only modest success. Consequently, the potential efficiency gains of training on small networks and evaluating on much larger ones remain largely unrealized. We propose Transferable Graph Metanetworks, which extend the graph metanetwork paradigm with a set of modifications that make performance transferable across input networks of different widths. The modifications follow two principles: invariance to the ways in which networks of different widths represent the same function, and continuity, such that weights representing similar functions receive similar predictions. We further study whether size generalization is possible for input networks trained independently from random initialization. Empirically, our modifications significantly improve size generalization on every task we consider. Performance is strongest on input networks trained under the maximal-update parameterization ($μ$P), where it remains robust up to $42\times$ the training width. Theoretically, we explain these observations with infinite-width limit theory: we prove size-generalization guarantees for our model on $μ$P-trained inputs, and explain why it can fail under other parameterizations.
• Abstract（参考訳）: 重み空間ネットワーク(メタネットワーク)は、別のニューラルネットワークの重みを入力として取り、その特性を予測する。 初期の作業は、そのようなモデルを1つまたは数個の固定サイズの入力ネットワーク上で訓練し、それらを分散して評価する。 アウト・オブ・ディストリビューションの規模を一般化する試みは、まだ範囲が限られており、わずかに成功しているだけである。 結果として、小さなネットワーク上でのトレーニングと、はるかに大きなネットワークに対する評価の潜在的な効率性は、ほとんど実現されていないままである。 本稿では,グラフメタネットワークのパラダイムを拡張したTransferable Graph Metanetworksを提案する。 この修正は、異なる幅のネットワークが同じ関数を表す方法と、同様の関数を表す重みが同様の予測を受けるような連続性の2つの原則に従う。 さらに、ランダム初期化とは独立に訓練された入力ネットワークに対して、サイズ一般化が可能かどうかについても検討する。 経験的に、我々の修正は、検討するすべてのタスクにおけるサイズ一般化を著しく改善する。 最大更新パラメータ化(μ$P)でトレーニングされた入力ネットワーク上では、パフォーマンスが最も優れています。 理論的には、これらの観測を無限幅極限理論で説明し、$μ$P-トレーニングされた入力でモデルのサイズ一般化保証を証明し、他のパラメータ化の下で失敗する理由を説明する。

関連論文リスト

• Generalization performance of narrow one-hidden layer networks in the teacher-student setting [40.69556943879117]
  我々は、狭いネットワーク、すなわち多数の隠れユニットを持つネットワークに対して、入力次元よりもはるかに小さい一般理論を開発する。 我々の理論は、回帰や分類タスクで訓練されたニューラルネットワークの一般化誤差を正確に予測する。
  論文  参考訳（メタデータ） (2025-07-01T10:18:20Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Towards Better Accuracy-efficiency Trade-offs: Divide and Co-training [24.586453683904487]
  ネットワーク数(アンサンブル)の増加は、幅を純粋に増やすよりも、精度と効率のトレードオフを達成できると主張している。 小さなネットワークは、パラメータやFLOPがほとんどあるいは全くない大きなネットワークよりも、より優れたアンサンブル性能を実現することができる。
  論文  参考訳（メタデータ） (2020-11-30T10:03:34Z)
• Logarithmic Pruning is All You Need [30.330326149079326]
  Lottery Ticket仮説(Lottery Ticket hypothesis): 大規模なニューラルネットワークには、独立したトレーニングを受けた場合、大きなネットワークに匹敵するパフォーマンスを実現するサブネットワークが含まれている。 しかし、後者の結果は多くの強い仮定に依存し、ターゲット関数と比較して大きなネットワークのサイズに影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-22T11:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。