論文の概要: Bridging Geometric Diffusion and Energy Minimization: A Unified Framework for Neural Message Passing
- arxiv url: http://arxiv.org/abs/2409.09111v2
- Date: Sun, 22 Jun 2025 18:46:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 19:06:36.231877
- Title: Bridging Geometric Diffusion and Energy Minimization: A Unified Framework for Neural Message Passing
- Title（参考訳）: ブリッジング幾何学拡散とエネルギー最小化:ニューラルメッセージパッシングのための統一フレームワーク
- Authors: Qitian Wu, David Wipf, Junchi Yan,
- Abstract要約: 本稿では,MPNNの理解のための原理的数学的枠組みとして,エネルギー制約付き拡散モデルを提案する。
我々は、拡散誘導型トランスフォーマーと呼ばれる新しいタイプのニューラルメッセージパッシングモデルを考案し、そのグローバルアテンション層は、原理化されたエネルギー制約型拡散フレームワークから導かれる。
多様なデータセットにわたって、新しいモデルは、データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりするシナリオにおいて、有望なパフォーマンスを達成することを実証する。
- 参考スコア（独自算出の注目度）: 79.9193447649011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning representations for structured data with certain geometries (e.g., observed or unobserved) is a fundamental challenge, wherein message passing neural networks (MPNNs) have become a de facto class of model solutions. In this paper, we propose an energy-constrained diffusion model as a principled mathematical framework for understanding the mechanism of MPNNs and navigating novel architectural designs. Inspired by physical systems, the model combines the inductive bias of diffusion on manifolds with layer-wise constraints of energy minimization. We identify that the diffusion operators have a one-to-one correspondence with the energy functions implicitly descended by the diffusion process, and the finite-difference iteration for solving the energy-constrained diffusion system induces the propagation layers of various types of MPNNs operating on observed or latent structures. This leads to a unified perspective on common neural architectures whose computational flows can be cast as message passing (or its special case), including MLP, GCN, GIN, APPNP, GCNII, GAT, and Transformers. Building on these insights, we devise a new class of neural message passing models, dubbed diffusion-inspired Transformers, whose global attention layers are derived from the principled energy-constrained diffusion framework. Across diverse datasets, ranging from real-world networks to images, texts, and physical particles, we demonstrate that the new model achieves promising performance in scenarios where the data structures are observed (as a graph), partially observed, or entirely unobserved.
- Abstract（参考訳）: 特定のジオメトリ(例えば、観測または観測されていない)で構造化されたデータの表現を学習することは、メッセージパッシングニューラルネットワーク(MPNN)がデファクトクラスのモデルソリューションになる、基本的な課題である。
本稿では,MPNNのメカニズムを理解し,新しい建築設計をナビゲートするための原理的数学的枠組みとして,エネルギー制約付き拡散モデルを提案する。
物理系にインスパイアされたモデルは、多様体上の拡散の誘導バイアスとエネルギー最小化の層ワイド制約を結合する。
拡散演算子は、拡散過程によって暗黙的に下降するエネルギー関数と1対1の対応を持ち、エネルギー制約付き拡散系を解く有限差分反復は、観測された構造や潜伏構造に作用する様々なMPNNの伝播層を誘導する。
このことは、MLP、GCN、GIN、APPNP、GCNII、GAT、Transformerなど、計算フローをメッセージパッシング(あるいは特別なケース)としてキャストできる一般的なニューラルネットワークアーキテクチャの統一的な視点につながります。
これらの知見に基づいて、拡散誘導トランスフォーマーと呼ばれる新しいタイプのニューラルメッセージパッシングモデルを考案し、そのグローバルアテンション層は、原理化されたエネルギー制約拡散フレームワークから導かれる。
実世界のネットワークから画像,テキスト,物理粒子に至るまで,さまざまなデータセットを用いて,データ構造が(グラフとして)観察されたり,部分的に観察されたり,あるいは完全に観察されなかったりするシナリオにおいて,新たなモデルが有望なパフォーマンスを達成することを実証した。
関連論文リスト
- Exploring the flavor structure of leptons via diffusion models [0.0]
ニュートリノ質量行列を生成するために、I型シーソー機構による標準モデルの簡単な拡張を検討し、ニューラルネットワークを訓練する。
転移学習を利用することで、拡散モデルはニュートリノ質量2乗差とレプトニック混合角に整合した104の解を生成する。
論文 参考訳（メタデータ） (2025-03-27T12:17:00Z) - Predicting Cascading Failures with a Hyperparametric Diffusion Model [66.89499978864741]
拡散モデルのレンズによる電力グリッドのカスケード故障について検討する。
我々のモデルは、バイラル拡散原理と物理に基づく概念を統合する。
この拡散モデルはカスケード故障の痕跡から学習可能であることを示す。
論文 参考訳（メタデータ） (2024-06-12T02:34:24Z) - An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。
経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。
本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
論文 参考訳（メタデータ） (2024-04-11T14:07:25Z) - Graph Neural Aggregation-diffusion with Metastability [4.040326569845733]
微分方程式に基づく連続グラフニューラルモデルはグラフニューラルネット(GNN)のアーキテクチャを拡張した
相互作用ポテンシャルによって誘導される非線形拡散と凝集の微妙なバランスを含むグラフ凝集拡散方程式に着想を得たGRADEを提案する。
我々はGRADEが様々なベンチマークで競合性能を達成し、GNNにおける過度にスムースな問題を軽減することを証明した。
論文 参考訳（メタデータ） (2024-03-29T15:05:57Z) - Accelerating Inference in Molecular Diffusion Models with Latent Representations of Protein Structure [0.0]
拡散生成モデルは3次元分子構造に直接作用する。
分子構造の潜在表現を学習するための新しいGNNアーキテクチャを提案する。
本モデルでは,全原子タンパク質の表現に匹敵する性能を示しながら,推論時間を3倍に短縮した。
論文 参考訳（メタデータ） (2023-11-22T15:32:31Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳（メタデータ） (2022-10-11T15:53:52Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳（メタデータ） (2022-09-10T22:00:30Z) - WaveNet-Based Deep Neural Networks for the Characterization of Anomalous
Diffusion (WADNet) [0.0]
異常拡散は物理的、化学的、生物学的、経済的システムの進化に関与している。
この課題は,単一軌跡評価のための新しいアプローチを客観的に評価し,比較することを目的としている。
We developed a WaveNet-based Deep Neural Network (WADNet) by using a modified WaveNet encoder with long short-term memory network。
論文 参考訳（メタデータ） (2021-06-14T19:41:15Z) - Diffusion Mechanism in Residual Neural Network: Theory and Applications [12.573746641284849]
限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。
本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。
構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
論文 参考訳（メタデータ） (2021-05-07T10:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。