論文の概要: Neural Message Passing Induced by Energy-Constrained Diffusion

• arxiv url: http://arxiv.org/abs/2409.09111v1
• Date: Fri, 13 Sep 2024 17:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 22:18:51.943553
• Title: Neural Message Passing Induced by Energy-Constrained Diffusion
• Title（参考訳）: エネルギー制約拡散によるニューラルメッセージパッシング
• Authors: Qitian Wu, David Wipf, Junchi Yan,
• Abstract要約: 本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 79.9193447649011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning representations for structured data with certain geometries (observed or unobserved) is a fundamental challenge, wherein message passing neural networks (MPNNs) have become a de facto class of model solutions. In this paper, we propose an energy-constrained diffusion model as a principled interpretable framework for understanding the mechanism of MPNNs and navigating novel architectural designs. The model, inspired by physical systems, combines the inductive bias of diffusion on manifolds with layer-wise constraints of energy minimization. As shown by our analysis, the diffusion operators have a one-to-one correspondence with the energy functions implicitly descended by the diffusion process, and the finite-difference iteration for solving the energy-constrained diffusion system induces the propagation layers of various types of MPNNs operated on observed or latent structures. On top of these findings, we devise a new class of neural message passing models, dubbed as diffusion-inspired Transformers, whose global attention layers are induced by the principled energy-constrained diffusion. Across diverse datasets ranging from real-world networks to images and physical particles, we show that the new model can yield promising performance for cases where the data structures are observed (as a graph), partially observed or completely unobserved.
• Abstract（参考訳）: 特定のジオメトリ(観測または観測されていない)で構造化されたデータの表現を学習することは基本的な課題であり、メッセージパッシングニューラルネットワーク(MPNN)は事実上のモデルソリューションのクラスになっている。 本稿では,MPNNのメカニズムを理解し,新しい建築設計をナビゲートするための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 物理系にインスパイアされたモデルは、多様体上の拡散の誘導バイアスとエネルギー最小化の層ワイド制約を結合する。 本分析で示すように、拡散作用素は拡散過程によって暗黙的に下降するエネルギー関数と1対1の対応を持ち、エネルギー制約拡散系を解くための有限差分反復は、観測または潜時構造で操作される様々なタイプのMPNNの伝播層を誘導する。 これらの知見に基づいて,拡散誘導型トランスフォーマーと呼ばれる新しいタイプのニューラルメッセージパッシングモデルを考案し,そのグローバルアテンション層はエネルギー制約型拡散によって誘導される。 実世界のネットワークから画像や物理粒子まで多種多様なデータセットを用いて、データ構造が観察された場合(グラフとして)、部分的に観察された場合、あるいは完全に観察されていない場合において、新しいモデルが有望な性能が得られることを示す。

関連論文リスト

• Predicting Cascading Failures with a Hyperparametric Diffusion Model [66.89499978864741]
  拡散モデルのレンズによる電力グリッドのカスケード故障について検討する。 我々のモデルは、バイラル拡散原理と物理に基づく概念を統合する。 この拡散モデルはカスケード故障の痕跡から学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T02:34:24Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Graph Neural Aggregation-diffusion with Metastability [4.040326569845733]
  微分方程式に基づく連続グラフニューラルモデルはグラフニューラルネット(GNN)のアーキテクチャを拡張した 相互作用ポテンシャルによって誘導される非線形拡散と凝集の微妙なバランスを含むグラフ凝集拡散方程式に着想を得たGRADEを提案する。 我々はGRADEが様々なベンチマークで競合性能を達成し、GNNにおける過度にスムースな問題を軽減することを証明した。
  論文  参考訳（メタデータ） (2024-03-29T15:05:57Z)
• Accelerating Inference in Molecular Diffusion Models with Latent Representations of Protein Structure [0.0]
  拡散生成モデルは3次元分子構造に直接作用する。 分子構造の潜在表現を学習するための新しいGNNアーキテクチャを提案する。 本モデルでは,全原子タンパク質の表現に匹敵する性能を示しながら,推論時間を3倍に短縮した。
  論文  参考訳（メタデータ） (2023-11-22T15:32:31Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• WaveNet-Based Deep Neural Networks for the Characterization of Anomalous Diffusion (WADNet) [0.0]
  異常拡散は物理的、化学的、生物学的、経済的システムの進化に関与している。 この課題は,単一軌跡評価のための新しいアプローチを客観的に評価し,比較することを目的としている。 We developed a WaveNet-based Deep Neural Network (WADNet) by using a modified WaveNet encoder with long short-term memory network。
  論文  参考訳（メタデータ） (2021-06-14T19:41:15Z)
• Diffusion Mechanism in Residual Neural Network: Theory and Applications [12.573746641284849]
  限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。 本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。 構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
  論文  参考訳（メタデータ） (2021-05-07T10:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。