論文の概要: Graph neural networks informed locally by thermodynamics

• arxiv url: http://arxiv.org/abs/2405.13093v1
• Date: Tue, 21 May 2024 12:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 04:12:17.891173
• Title: Graph neural networks informed locally by thermodynamics
• Title（参考訳）: 熱力学による局所的なグラフニューラルネットワーク
• Authors: Alicia Tierz, Iciar Alfaro, David González, Francisco Chinesta, Elías Cueto,
• Abstract要約: 熱力学インフォームドニューラルネットワークは熱力学の実施に誘導バイアスを用いる。 システムのメトロプレクティックな進化が仮定され、優れた結果が得られます。 上記の行列組立を避けるため, メチトレクティックバイアスの局所バージョンが開発されている。 この枠組みを固体力学や流体力学の分野に応用する。
• 参考スコア（独自算出の注目度）: 3.495246564946556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Thermodynamics-informed neural networks employ inductive biases for the enforcement of the first and second principles of thermodynamics. To construct these biases, a metriplectic evolution of the system is assumed. This provides excellent results, when compared to uninformed, black box networks. While the degree of accuracy can be increased in one or two orders of magnitude, in the case of graph networks, this requires assembling global Poisson and dissipation matrices, which breaks the local structure of such networks. In order to avoid this drawback, a local version of the metriplectic biases has been developed in this work, which avoids the aforementioned matrix assembly, thus preserving the node-by-node structure of the graph networks. We apply this framework for examples in the fields of solid and fluid mechanics. Our approach demonstrates significant computational efficiency and strong generalization capabilities, accurately making inferences on examples significantly different from those encountered during training.
• Abstract（参考訳）: 熱力学インフォームドニューラルネットワークは、熱力学の第1原理と第2原理の施行に誘導バイアスを用いる。 これらのバイアスを構築するために、系の緯度進化を仮定する。 これは、非インフォームされたブラックボックスネットワークと比較して、優れた結果をもたらす。 グラフネットワークの場合、精度は1～2桁に向上するが、これはグローバルなポアソンと散逸行列を組み立てることを必要とし、そのようなネットワークの局所構造を壊す。 この欠点を回避するため, 上記の行列組立を回避し, グラフネットワークのノード・バイ・ノード構造を保ちながら, 直交バイアスの局所バージョンを開発した。 この枠組みを固体力学や流体力学の分野に応用する。 提案手法は計算効率と強力な一般化能力を示し,実例の推測をトレーニング中に遭遇したものとは大きく異なるものにする。

関連論文リスト

• Generalization emerges from local optimization in a self-organized learning network [0.0]
  我々は,グローバルなエラー関数に頼ることなく,局所最適化ルールのみによって駆動される,教師付き学習ネットワーク構築のための新しいパラダイムを設計・分析する。 我々のネットワークは、ルックアップテーブルの形で、ノードに新しい知識を正確かつ瞬時に保存する。 本稿では,学習例数が十分に大きくなると,アルゴリズムによって生成されたネットワークが完全な一般化状態に体系的に到達する,分類タスクの多くの例を示す。 我々は状態変化のダイナミクスについて報告し、それが突然であり、従来の学習ネットワークですでに観察されている現象である1次相転移の特徴を持つことを示す。
  論文  参考訳（メタデータ） (2024-10-03T15:32:08Z)
• Centered Self-Attention Layers [89.21791761168032]
  変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。 我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。 これらの機構の集約演算子に補正項を提示する。
  論文  参考訳（メタデータ） (2023-06-02T15:19:08Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Thermodynamics-informed graph neural networks [0.09332987715848712]
  幾何的および熱力学的帰納バイアスを用いて、結果の積分スキームの精度と一般化を改善することを提案する。 1つ目は、非ユークリッド幾何学的事前および置換不変ノードとエッジ更新関数を誘導するグラフニューラルネットワークである。 第2のバイアスは、より一般的な非保守的力学をモデル化するために、ハミルトン形式論の拡張である問題のジェネリック構造を学ぶことで強制される。
  論文  参考訳（メタデータ） (2022-03-03T17:30:44Z)
• The Implicit Bias of Gradient Descent on Generalized Gated Linear Networks [3.3946853660795893]
  数学的に抽出可能な深部非線形ニューラルネットワーク(GLN)の無限時間学習限界を導出する。 アーキテクチャ上の制約と勾配勾配のバイアスがパフォーマンスにどのように影響するかを示す。 帰納的バイアスを明確にすることで、我々のフレームワークはより効率的で生物学的に妥当で堅牢な学習アルゴリズムの開発を知らせる。
  論文  参考訳（メタデータ） (2022-02-05T22:37:39Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
  貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。 これらのネットワークの動作原理は、完全には理解されていない。 このようなネットワークの力学の新たな解析法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T00:14:25Z)
• Molecule Property Prediction and Classification with Graph Hypernetworks [113.38181979662288]
  ネットワークをハイパーネットワークに置き換えることで性能が向上することを示す。 ハイパーネットワークの適用において大きな困難は、安定性の欠如である。 最近の研究は、エラー訂正コードのコンテキストにおいて、ハイパーネットワークのトレーニング不安定性に取り組んでいる。
  論文  参考訳（メタデータ） (2020-02-01T16:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。