論文の概要: Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism

• arxiv url: http://arxiv.org/abs/2201.12987v1
• Date: Mon, 31 Jan 2022 03:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 17:09:35.900479
• Title: Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism
• Title（参考訳）: 確率的注意機構による解釈可能・一般化グラフ学習
• Authors: Siqi Miao, Miaoyuan Liu, Pan Li
• Abstract要約: 解釈可能なグラフ学習は、グラフ構造化データから洞察を集めるための学習モデルに依存する多くの科学的応用を必要としている。 以前の作業は主に、事前訓練されたモデルを解釈するためのポストホックアプローチの使用に重点を置いていた。 本稿では,情報ボトルネック原理に基づく注意機構であるグラフ注意(GSAT)を提案する。
• 参考スコア（独自算出の注目度）: 6.289180873978089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretable graph learning is in need as many scientific applications depend on learning models to collect insights from graph-structured data. Previous works mostly focused on using post-hoc approaches to interpret a pre-trained model (graph neural network models in particular). They argue against inherently interpretable models because good interpretation of these models is often at the cost of their prediction accuracy. And, the widely used attention mechanism for inherent interpretation often fails to provide faithful interpretation in graph learning tasks. In this work, we address both issues by proposing Graph Stochastic Attention (GSAT), an attention mechanism derived from the information bottleneck principle. GSAT leverages stochastic attention to block the information from the task-irrelevant graph components while learning stochasticity-reduced attention to select the task-relevant subgraphs for interpretation. GSAT can also apply to fine-tuning and interpreting pre-trained models via stochastic attention mechanism. Extensive experiments on eight datasets show that GSAT outperforms the state-of-the-art methods by up to 20%$\uparrow$ in interpretation AUC and 5%$\uparrow$ in prediction accuracy.
• Abstract（参考訳）: 解釈可能なグラフ学習は、グラフ構造化データから洞察を集めるための学習モデルに依存する多くの科学的応用を必要とする。 以前の研究は主に、トレーニング済みモデル(特にグラフニューラルネットワークモデル)の解釈にポストホックなアプローチを使うことに重点を置いていた。 彼らは、これらのモデルのよい解釈は、しばしば予測精度の犠牲になるため、本質的に解釈可能なモデルに反対している。 また、本質的解釈に広く使われる注意機構は、グラフ学習タスクにおいて忠実な解釈を提供しないことが多い。 本稿では,情報ボトルネック原理に基づく注意機構であるグラフ確率的注意(GSAT)を提案することにより,両課題に対処する。 GSATは確率的注意を利用してタスク関連グラフコンポーネントからの情報をブロックし、確率性に基づく注意を学習し、タスク関連部分グラフを選択して解釈する。 GSATは、確率的注意機構を通じて訓練済みモデルの微調整や解釈にも応用できる。 8つのデータセットの大規模な実験により、GSATはAUCの解釈で20%$\uparrow$、予測精度で5%$\uparrow$を上回ります。

関連論文リスト

• A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation [59.14165404728197]
  我々は,分散シフト下での深層グラフ学習について,最新かつ先見的なレビューを行う。 具体的には,グラフ OOD 一般化,トレーニング時グラフ OOD 適応,テスト時グラフ OOD 適応の3つのシナリオについて述べる。 文献の理解を深めるために,提案した分類に基づく既存モデルを体系的に分類した。
  論文  参考訳（メタデータ） (2024-10-25T02:39:56Z)
• Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
  完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。 従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。 VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
  論文  参考訳（メタデータ） (2024-10-02T12:07:47Z)
• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• Interpretable Prototype-based Graph Information Bottleneck [22.25047783463307]
  本稿では,PGIB(Interpretable Prototype-based Graph Information Bottleneck)と呼ばれる,説明可能なグラフニューラルネットワーク(GNN)の新たなフレームワークを提案する。 PGIBは、情報ボトルネックフレームワークにプロトタイプ学習を組み込んで、モデル予測に重要な入力グラフから重要な部分グラフをプロトタイプに提供する。 定性的分析を含む広範囲な実験により、PGIBは予測性能と説明可能性の両方の観点から最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-30T18:16:19Z)
• Semantic Interpretation and Validation of Graph Attention-based Explanations for GNN Models [9.260186030255081]
  本稿では,グラフニューラルネットワーク(GNN)に基づくモデルの説明可能性を高めるために,意味的注意力を用いた手法を提案する。 本研究は,注意分布のばらつきを意味的にソートした特徴集合と関連づけることで,既存の注意グラフ説明可能性手法を拡張した。 提案手法をライダーポイントクラウド推定モデルに適用し,性能向上に寄与する主要なセマンティッククラスを同定する。
  論文  参考訳（メタデータ） (2023-08-08T12:34:32Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
  本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。 RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
  論文  参考訳（メタデータ） (2022-08-18T01:31:25Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Learning on Random Balls is Sufficient for Estimating (Some) Graph Parameters [28.50409304490877]
  本研究では,部分観測環境におけるグラフ分類問題の理論的枠組みを開発する。 ランダムにサンプリングされた部分グラフで動作する新しいグラフ分類モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-05T08:32:46Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。