論文の概要: A Survey of Weight Space Learning: Understanding, Representation, and Generation

• arxiv url: http://arxiv.org/abs/2603.10090v1
• Date: Tue, 10 Mar 2026 15:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.628417
• Title: A Survey of Weight Space Learning: Understanding, Representation, and Generation
• Title（参考訳）: 軽量空間学習に関するサーベイ:理解・表現・生成
• Authors: Xiaolong Han, Zehong Wang, Bo Zhao, Binchi Zhang, Jundong Li, Damian Borth, Rose Yu, Haggai Maron, Yanfang Ye, Lu Yin, Ferrante Neri,
• Abstract要約: 重み空間学習は、神経重みを分析とモデリングのための意味のある領域として扱う。 本稿では,既存の手法を,重み空間理解,重み空間表現,重み空間生成の3つの基本次元に分類する。 これらの開発によって、モデル検索、連続的および連合的学習、ニューラルアーキテクチャサーチ、データフリー再構築など、実用的な応用が可能となることを示す。
• 参考スコア（独自算出の注目度）: 87.2501236345188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network weights are typically viewed as the end product of training, while most deep learning research focuses on data, features, and architectures. However, recent advances show that the set of all possible weight values (weight space) itself contains rich structure: pretrained models form organized distributions, exhibit symmetries, and can be embedded, compared, or even generated. Understanding such structures has tremendous impact on how neural networks are analyzed and compared, and on how knowledge is transferred across models, beyond individual training instances. This emerging research direction, which we refer to as Weight Space Learning (WSL), treats neural weights as a meaningful domain for analysis and modeling. This survey provides the first unified taxonomy of WSL. We categorize existing methods into three core dimensions: Weight Space Understanding (WSU), which studies the geometry and symmetries of weights; Weight Space Representation (WSR), which learns embeddings over model weights; and Weight Space Generation (WSG), which synthesizes new weights through hypernetworks or generative models. We further show how these developments enable practical applications, including model retrieval, continual and federated learning, neural architecture search, and data-free reconstruction. By consolidating fragmented progress under a coherent framework, this survey highlights weight space as a learnable, structured domain with growing impact across model analysis, transferring, and weight generation. We release an accompanying resource at https://github.com/Zehong-Wang/Awesome-Weight-Space-Learning.
• Abstract（参考訳）: ニューラルネットワークの重みは通常、トレーニングの最終産物と見なされるが、多くのディープラーニング研究は、データ、機能、アーキテクチャに焦点を当てている。 しかし、最近の進歩は、全ての可能な重み値(重み空間)の集合自体がリッチな構造を含んでいることを示している:事前訓練されたモデルは、組織化された分布を形成し、対称性を示し、埋め込み、比較、あるいは生成することができる。 このような構造を理解することは、ニューラルネットワークがどのように分析され、比較されるか、そして個々のトレーニングインスタンスを超えて、モデル間でどのように知識が伝達されるかに大きな影響を与える。 ウェイト・スペース・ラーニング(WSL)と呼ばれるこの新たな研究方向は、ニューラルウェイトを分析とモデリングのための意味のある領域として扱う。 この調査はWSLの最初の統一分類である。 既存の手法を3つの中核次元に分類する:ウェイトスペース理解(WSU)、ウェイトスペース表現(WSR)、ウェイトスペース生成(WSG)、ハイパーネットワークまたはジェネレーションモデルを通して新しいウェイトを合成するウェイトスペース生成(WSG)。 さらに、モデル検索、継続学習とフェデレーション学習、ニューラルアーキテクチャ探索、データフリー再構築など、これらの開発が実践的な応用を実現する方法を示す。 コヒーレントなフレームワークの下で断片化された進捗を統合することにより、モデル解析、転送、およびウェイト生成にまたがる影響が増大する、学習可能な構造化された領域として重量空間が強調される。 関連リソースはhttps://github.com/Zehong-Wang/Awesome-Weight-Space-Learning.comで公開しています。

関連論文リスト

• Weight Space Representation Learning with Neural Fields [69.85677017502826]
  本研究では,ニューラルネットワークに着目し,重みが効果的に表現できる可能性について検討する。 我々の重要な洞察は、事前訓練されたベースモデルとローランク適応(LoRA)による最適化空間の制約が重み空間の構造を誘導できるということである。 2次元および3次元データの再構成・生成・解析タスク全体にわたって、乗法的LoRA重みは、特異性とセマンティック構造を示しながら、高い表現品質を実現する。
  論文  参考訳（メタデータ） (2025-12-01T15:05:01Z)
• The Impact of Model Zoo Size and Composition on Weight Space Learning [8.11780615053558]
  トレーニングされたニューラルネットワークモデルを再利用することは、トレーニングコストを削減し、知識を伝達する一般的な戦略である。 重量宇宙学習は、将来のタスクのために事前訓練されたモデルの集団を再利用するための、有望な新しい分野である。 そこで本研究では,異種集団の訓練に適応する共通重み空間学習法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T11:54:06Z)
• Hyper-Representations: Learning from Populations of Neural Networks [3.8979646385036175]
  この論文は、最も基本的なコンポーネントである重みのレンズを通してニューラルネットワークを理解するという課題に対処する。 この論文では、トレーニングされたNNモデルが、重み空間における意味のある構造を実際に占めており、学習と使用が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-10-07T15:03:00Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Classifying the classifier: dissecting the weight space of neural networks [16.94879659770577]
  本稿では,ニューラルネットワークの重みに関する実証的研究について述べる。 それぞれのモデルを高次元空間、すなわちニューラルウェイト空間の点として解釈する。 重み空間に関するさらなる研究を促進するため、我々はニューラルウェイト空間(NWS)データセットをリリースする。
  論文  参考訳（メタデータ） (2020-02-13T18:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。