論文の概要: Geometric Flow Models over Neural Network Weights

• arxiv url: http://arxiv.org/abs/2504.03710v1
• Date: Thu, 27 Mar 2025 19:29:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-13 06:23:25.127378
• Title: Geometric Flow Models over Neural Network Weights
• Title（参考訳）: ニューラルネットワーク上の幾何学的流れモデル
• Authors: Ege Erdogan,
• Abstract要約: ニューラルネットワークの重みの生成モデルは、ディープラーニング、学習最適化、転送学習など、多様なアプリケーションセットに役立ちます。 既存の重み空間生成モデルの研究は、しばしばニューラルネットワークの重みの対称性を無視したり、そのサブセットを考慮に入れたりする。 我々は最近,フローマッチングを用いた生成モデルの構築と,3つの異なる重み空間フローを設計するための重み空間グラフニューラルネットワークを構築した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep generative models such as flow and diffusion models have proven to be effective in modeling high-dimensional and complex data types such as videos or proteins, and this has motivated their use in different data modalities, such as neural network weights. A generative model of neural network weights would be useful for a diverse set of applications, such as Bayesian deep learning, learned optimization, and transfer learning. However, the existing work on weight-space generative models often ignores the symmetries of neural network weights, or only takes into account a subset of them. Modeling those symmetries, such as permutation symmetries between subsequent layers in an MLP, the filters in a convolutional network, or scaling symmetries arising with the use of non-linear activations, holds the potential to make weight-space generative modeling more efficient by effectively reducing the dimensionality of the problem. In this light, we aim to design generative models in weight-space that more comprehensively respect the symmetries of neural network weights. We build on recent work on generative modeling with flow matching, and weight-space graph neural networks to design three different weight-space flows. Each of our flows takes a different approach to modeling the geometry of neural network weights, and thus allows us to explore the design space of weight-space flows in a principled way. Our results confirm that modeling the geometry of neural networks more faithfully leads to more effective flow models that can generalize to different tasks and architectures, and we show that while our flows obtain competitive performance with orders of magnitude fewer parameters than previous work, they can be further improved by scaling them up. We conclude by listing potential directions for future work on weight-space generative models.
• Abstract（参考訳）: フローや拡散モデルのような深い生成モデルは、ビデオやタンパク質のような高次元および複雑なデータタイプをモデル化するのに有効であることが証明されており、これはニューラルネットワークの重みのような異なるデータモダリティでの使用を動機付けている。 ニューラルネットワーク重みの生成モデルは、ベイジアンディープラーニング、学習最適化、トランスファーラーニングなど、多様な応用に有用である。 しかし、重み空間生成モデルに関する既存の研究は、しばしばニューラルネットワークの重みの対称性を無視している。 MLP内の後続の層間の置換対称性、畳み込みネットワーク内のフィルタ、非線形活性化によるスケーリング対称性などのこれらの対称性をモデル化することは、この問題の次元性を効果的に減らし、重み空間生成モデルをより効率的にする可能性を持っている。 本稿では,ニューラルネットワークの重みの対称性をより包括的に尊重する,重み空間における生成モデルの設計を目的とする。 我々は最近,フローマッチングを用いた生成モデルの構築と,3つの異なる重み空間フローを設計するための重み空間グラフニューラルネットワークを構築した。 それぞれのフローは、ニューラルネットワークの重みの幾何学をモデル化するために異なるアプローチをとるため、原則的に重み空間のフローの設計空間を探索することができる。 実験の結果,ニューラルネットワークの形状をモデル化することで,様々なタスクやアーキテクチャに一般化可能な,より効率的なフローモデルが実現できることが確認された。 重み空間生成モデルに関する今後の研究の方向性を列挙して結論付ける。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• A quatum inspired neural network for geometric modeling [14.214656118952178]
  本稿では,MPSベースのメッセージパッシング戦略を提案する。 本手法は,多体関係を効果的にモデル化し,平均場近似を抑える。 これは幾何学的GNNに固有の標準メッセージパッシングおよびレイヤ集約モジュールをシームレスに置き換える。
  論文  参考訳（メタデータ） (2024-01-03T15:59:35Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
  軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。 ニューラル微分方程式モデルに基づく新しい手法を提案する。 我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-07-21T12:11:18Z)
• Physics-Informed Neural State Space Models via Learning and Evolution [1.1086440815804224]
  システム同定のためのニューラル状態空間力学モデルの検出法について検討する。 モデル選択と最適化を交互に行う非同期な遺伝的探索アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2020-11-26T23:35:08Z)
• Physics-Based Deep Neural Networks for Beam Dynamics in Charged Particle Accelerators [0.0]
  力学の表現で生じるテイラー写像は、ニューラルネットワークの重みにマッピングされる。 得られたネットワークは、トレーニング前に完全な精度で力学系を近似する。 本稿では,既存のPETRA IIIと,DESYにおけるPETRA IVストレージリングの例を紹介する。
  論文  参考訳（メタデータ） (2020-07-07T15:33:11Z)
• Learning Queuing Networks by Recurrent Neural Networks [0.0]
  データから性能モデルを導出する機械学習手法を提案する。 我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。 これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
  論文  参考訳（メタデータ） (2020-02-25T10:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。