論文の概要: Reversible and irreversible bracket-based dynamics for deep graph neural networks

• arxiv url: http://arxiv.org/abs/2305.15616v2
• Date: Mon, 13 Nov 2023 04:37:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 21:55:23.365877
• Title: Reversible and irreversible bracket-based dynamics for deep graph neural networks
• Title（参考訳）: ディープグラフニューラルネットワークのための可逆および不可逆ブラケットに基づくダイナミクス
• Authors: Anthony Gruber, Kookjin Lee, Nathaniel Trask
• Abstract要約: 近年の研究では、物理にインスパイアされたアーキテクチャにより、過剰なスムーシングなしにディープグラフニューラルネットワーク(GNN)のトレーニングが可能になることが示されている。 これらの物理学の役割は明確ではなく、可逆性(例えばハミルトン)と非可逆性(例えば拡散)の両方の現象が成功した例がある。 この研究は、構造保存ブラケットに基づく動的システムに基づく、新しいGNNアーキテクチャのシリーズを提示する。
• 参考スコア（独自算出の注目度）: 5.363445026851657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have shown that physics-inspired architectures allow the training of deep graph neural networks (GNNs) without oversmoothing. The role of these physics is unclear, however, with successful examples of both reversible (e.g., Hamiltonian) and irreversible (e.g., diffusion) phenomena producing comparable results despite diametrically opposed mechanisms, and further complications arising due to empirical departures from mathematical theory. This work presents a series of novel GNN architectures based upon structure-preserving bracket-based dynamical systems, which are provably guaranteed to either conserve energy or generate positive dissipation with increasing depth. It is shown that the theoretically principled framework employed here allows for inherently explainable constructions, which contextualize departures from theory in current architectures and better elucidate the roles of reversibility and irreversibility in network performance.
• Abstract（参考訳）: 近年の研究では、物理にインスパイアされたアーキテクチャにより、過剰なスムーシングなしにディープグラフニューラルネットワーク(GNN)のトレーニングが可能になることが示されている。 しかし、これらの物理学の役割は明らかではなく、可逆現象(例えばハミルトニアン)と非可逆現象(例えば拡散現象)の両方が、ダイアメトリックな反対のメカニズムにもかかわらず同等の結果を生じさせ、数学理論からの経験的な離脱によってさらに複雑化する例がある。 この研究は、構造保存ブラケットに基づく動的システムに基づく、新しいGNNアーキテクチャのシリーズを提示する。 ここで採用されている理論的原理の枠組みは、現在のアーキテクチャにおける理論からの離脱を文脈化し、ネットワーク性能における可逆性と非可逆性の役割をよりよく解明する、本質的に説明可能な構成を可能にする。

関連論文リスト

• Injecting Hamiltonian Architectural Bias into Deep Graph Networks for Long-Range Propagation [55.227976642410766]
  グラフ内の情報拡散のダイナミクスは、グラフ表現学習に大きな影響を及ぼす重要なオープン問題である。 そこで我々は(ポート-)Hamiltonian Deep Graph Networksを紹介した。 我々は,非散逸的長距離伝播と非保守的行動の両方を,単一の理論的・実践的な枠組みで調整する。
  論文  参考訳（メタデータ） (2024-05-27T13:36:50Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Neural annealing and visualization of autoregressive neural networks in the Newman-Moore model [0.45119235878273]
  ニューマン・ムーアモデルで示されるガラス力学は, トレーニング可能性の問題や, 最適化環境におけるモード崩壊などを通じて, 自在に現れる可能性が示唆された。 これらの結果から, フラクトン励起の存在によるニューマン・ムーアモデルによるガラス力学は, トレーニング可能性の問題や最適化景観のモード崩壊によって, 自分自身に現れる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-04-24T13:15:28Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Extended critical regimes of deep neural networks [0.0]
  重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。 この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。 効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
  論文  参考訳（メタデータ） (2022-03-24T10:15:50Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Dynamically Computing Adversarial Perturbations for Recurrent Neural Networks [33.61168219427157]
  畳み込みと繰り返しのニューラルネットワークは、分類タスクにおける最先端のパフォーマンスを達成するために広く利用されている。 また、これらのネットワークは、入力に対して慎重に加法摂動を作れば、相対的に容易に操作可能であることも指摘されている。 我々は,このような事例に対して,敵例の存在とネットワークのロバスト性マージンを理論的に保証する。
  論文  参考訳（メタデータ） (2020-09-07T03:37:03Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
  貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。 これらのネットワークの動作原理は、完全には理解されていない。 このようなネットワークの力学の新たな解析法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T00:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。