論文の概要: DeepWeightFlow: Re-Basined Flow Matching for Generating Neural Network Weights

• arxiv url: http://arxiv.org/abs/2601.05052v1
• Date: Thu, 08 Jan 2026 15:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.265742
• Title: DeepWeightFlow: Re-Basined Flow Matching for Generating Neural Network Weights
• Title（参考訳）: Deep Weight Flow: ニューラルネットワークの重みを生成するための再ベースフローマッチング
• Authors: Saumya Gupta, Scott Biggs, Moritz Laber, Zohair Shafi, Robin Walters, Ayan Paul,
• Abstract要約: 本稿では,多種多様な高精度ニューラルネットワーク重みを生成するために,直接重み空間で動作するフローマッチングモデルであるDeepWeightFlowを提案する。 DeepWeightFlowが生成するニューラルネットワークは、パフォーマンス向上のために微調整を必要とせず、大規模ネットワークにスケールすることができる。
• 参考スコア（独自算出の注目度）: 10.97849774373198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building efficient and effective generative models for neural network weights has been a research focus of significant interest that faces challenges posed by the high-dimensional weight spaces of modern neural networks and their symmetries. Several prior generative models are limited to generating partial neural network weights, particularly for larger models, such as ResNet and ViT. Those that do generate complete weights struggle with generation speed or require finetuning of the generated models. In this work, we present DeepWeightFlow, a Flow Matching model that operates directly in weight space to generate diverse and high-accuracy neural network weights for a variety of architectures, neural network sizes, and data modalities. The neural networks generated by DeepWeightFlow do not require fine-tuning to perform well and can scale to large networks. We apply Git Re-Basin and TransFusion for neural network canonicalization in the context of generative weight models to account for the impact of neural network permutation symmetries and to improve generation efficiency for larger model sizes. The generated networks excel at transfer learning, and ensembles of hundreds of neural networks can be generated in minutes, far exceeding the efficiency of diffusion-based methods. DeepWeightFlow models pave the way for more efficient and scalable generation of diverse sets of neural networks.
• Abstract（参考訳）: ニューラルネットワークの重み付けのための効率的で効果的な生成モデルを構築することは、現代のニューラルネットワークの高次元の重み空間とその対称性によって引き起こされる課題に直面する重要な関心の焦点となっている。 いくつかの以前の生成モデルは部分的なニューラルネットワーク重みの生成に限られており、特にResNetやViTのようなより大きなモデルではそうである。 完全な重量を生成するものは、生成速度に苦しむか、生成されたモデルの微調整を必要とする。 本研究では,様々なアーキテクチャ,ニューラルネットワークサイズ,データモダリティに対して,多種多様な高精度ニューラルネットワーク重みを生成するために,直接重み空間で動作するフローマッチングモデルであるDeepWeightFlowを提案する。 DeepWeightFlowが生成するニューラルネットワークは、パフォーマンス向上のために微調整を必要とせず、大規模ネットワークにスケールすることができる。 生成重みモデルの文脈において、ニューラルネットワークの正規化にGit Re-BasinとTransFusionを適用し、ニューラルネットワーク置換対称性の影響を考慮し、より大きなモデルサイズの生成効率を向上させる。 生成されたネットワークは転送学習において優れており、何百ものニューラルネットワークのアンサンブルは数分で生成でき、拡散ベースの手法の効率をはるかに上回る。 DeepWeightFlowモデルは、さまざまなニューラルネットワークセットのより効率的でスケーラブルな生成方法である。

関連論文リスト

• Geometric Flow Models over Neural Network Weights [0.0]
  ニューラルネットワークの重みの生成モデルは、ディープラーニング、学習最適化、転送学習など、多様なアプリケーションセットに役立ちます。 既存の重み空間生成モデルの研究は、しばしばニューラルネットワークの重みの対称性を無視したり、そのサブセットを考慮に入れたりする。 我々は最近,フローマッチングを用いた生成モデルの構築と,3つの異なる重み空間フローを設計するための重み空間グラフニューラルネットワークを構築した。
  論文  参考訳（メタデータ） (2025-03-27T19:29:44Z)
• Growing Neural Networks: Dynamic Evolution through Gradient Descent [0.0]
  トレーニング中に小さなニューラルネットワークを大きなニューラルネットワークに進化させるための2つのアプローチを提案する。 第1の方法は、ネットワークサイズを直接制御する補助重みを使い、第2の方法は、ニューロンの関与を調節するためにコントローラ生成マスクを使用する。 どちらのアプローチも、ネットワークの重みとバイアスを更新するのと同じ勾配差アルゴリズムによって、ネットワークサイズを最適化する。
  論文  参考訳（メタデータ） (2025-01-29T21:56:38Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
  自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。 本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。 新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-09T11:27:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Variational Tensor Neural Networks for Deep Learning [0.0]
  深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。 これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。 我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
  論文  参考訳（メタデータ） (2022-11-26T20:24:36Z)
• A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。 ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2022-10-31T16:13:15Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。