論文の概要: Probing Graph Representations

• arxiv url: http://arxiv.org/abs/2303.03951v1
• Date: Tue, 7 Mar 2023 14:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 14:54:59.309053
• Title: Probing Graph Representations
• Title（参考訳）: グラフ表現の探索
• Authors: Mohammad Sadegh Akhondzadeh, Vijay Lingam and Aleksandar Bojchevski
• Abstract要約: グラフ表現でキャプチャされた意味のある情報の量を定量化するために、探索フレームワークを使用します。 本研究は, グラフモデルにおける帰納的バイアスを理解するための探索の可能性を示すものである。 グラフベースモデルを評価する上で有用な診断ツールとして,探索を提唱する。
• 参考スコア（独自算出の注目度）: 77.7361299039905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Today we have a good theoretical understanding of the representational power of Graph Neural Networks (GNNs). For example, their limitations have been characterized in relation to a hierarchy of Weisfeiler-Lehman (WL) isomorphism tests. However, we do not know what is encoded in the learned representations. This is our main question. We answer it using a probing framework to quantify the amount of meaningful information captured in graph representations. Our findings on molecular datasets show the potential of probing for understanding the inductive biases of graph-based models. We compare different families of models and show that transformer-based models capture more chemically relevant information compared to models based on message passing. We also study the effect of different design choices such as skip connections and virtual nodes. We advocate for probing as a useful diagnostic tool for evaluating graph-based models.
• Abstract（参考訳）: 現在、グラフニューラルネットワーク(GNN)の表現力について理論的によく理解している。 例えば、それらの制限は、Weisfeiler-Lehman(WL)同型テストの階層性に関連して特徴づけられている。 しかし、学習した表現に何が符号化されているのかは分かっていない。 これが私たちの主な質問です。 グラフ表現で捉えた意味のある情報の量を定量化するために,探索フレームワークを用いて回答する。 分子データからグラフモデルにおける帰納バイアスの解明の可能性を示す。 異なるモデル群を比較し,トランスフォーマーモデルがメッセージパッシングに基づくモデルよりも化学的に関連のある情報をキャプチャすることを示す。 また,スキップ接続や仮想ノードなどの異なる設計選択の影響についても検討した。 我々は,グラフモデル評価のための有用な診断ツールとしての探索を提唱する。

関連論文リスト

• Neural Scaling Laws on Graphs [54.435688297561015]
  モデルおよびデータの観点から,グラフ上のニューラルスケーリング法則について検討する。 モデルスケーリングでは,スケール法が崩壊する現象を調査し,オーバーフィッティングを潜在的な理由として同定する。 データスケーリングについては、グラフのサイズが極めて不規則であるため、スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。
  論文  参考訳（メタデータ） (2024-02-03T06:17:21Z)
• What Do GNNs Actually Learn? Towards Understanding their Representations [26.77596449192451]
  グラフニューラルネットワーク(GNN)によりグラフのどの特性を純粋に捉えるかを検討する。 これらのうち2つのノードが同じ特徴ベクトルに埋め込み、他の2つのモデルが入力グラフ上のウォーク数に関連する表現を生成することを示す。 厳密に言うと、構造的に異なるノードは、同じ長さのウォーク数を持つ場合、ある層$k>1$で同様の表現を持つことができる。
  論文  参考訳（メタデータ） (2023-04-21T09:52:19Z)
• From Shallow to Deep: Compositional Reasoning over Graphs for Visual Question Answering [3.7094119304085584]
  イメージと外部知識に作曲的推論を必要とする深い問いに答えることを学ぶことが不可欠である。 階層型グラフニューラルモジュールネットワーク(HGNMN)を提案する。 我々のモデルは、グラフ上の特定の機能を実行するよく設計されたニューラルネットワークモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-06-25T02:20:02Z)
• Can Language Models Capture Graph Semantics? From Graphs to Language Model and Vice-Versa [5.340730281227837]
  我々は、ディープラーニングモデルがグラフを圧縮し、ほとんどの意味論をそのままで同じグラフを出力できるかどうかを調査する。 実験の結果,Transformerモデルでは入力知識グラフの完全な意味を表現できないことがわかった。
  論文  参考訳（メタデータ） (2022-06-18T18:12:20Z)
• Representation Power of Graph Neural Networks: Improved Expressivity via Algebraic Analysis [124.97061497512804]
  標準グラフニューラルネットワーク (GNN) はWeisfeiler-Lehman (WL) アルゴリズムよりも差別的な表現を生成する。 また、白い入力を持つ単純な畳み込みアーキテクチャは、グラフの閉経路をカウントする同変の特徴を生じさせることを示した。
  論文  参考訳（メタデータ） (2022-05-19T18:40:25Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• GraphSVX: Shapley Value Explanations for Graph Neural Networks [81.83769974301995]
  グラフニューラルネットワーク(GNN)は、幾何データに基づく様々な学習タスクにおいて大きな性能を発揮する。 本稿では,既存のGNN解説者の多くが満足する統一フレームワークを提案する。 GNN用に特別に設計されたポストホックローカルモデル非依存説明法であるGraphSVXを紹介します。
  論文  参考訳（メタデータ） (2021-04-18T10:40:37Z)
• Non-Parametric Graph Learning for Bayesian Graph Neural Networks [35.88239188555398]
  グラフ隣接行列の後方分布を構築するための新しい非パラメトリックグラフモデルを提案する。 このモデルの利点を,ノード分類,リンク予測,レコメンデーションという3つの異なる問題設定で示す。
  論文  参考訳（メタデータ） (2020-06-23T21:10:55Z)
• A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts [81.4757750425247]
  動的テキスト環境における質問応答について検討する。 構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2020-04-25T04:53:54Z)
• The Power of Graph Convolutional Networks to Distinguish Random Graph Models: Short Version [27.544219236164764]
  グラフ畳み込みネットワーク(GCN)はグラフ表現学習において広く使われている手法である。 サンプルグラフの埋め込みに基づいて異なるランダムグラフモデルを区別するGCNのパワーについて検討する。
  論文  参考訳（メタデータ） (2020-02-13T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。