論文の概要: LLMExplainer: Large Language Model based Bayesian Inference for Graph Explanation Generation

• arxiv url: http://arxiv.org/abs/2407.15351v1
• Date: Mon, 22 Jul 2024 03:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 16:20:27.988326
• Title: LLMExplainer: Large Language Model based Bayesian Inference for Graph Explanation Generation
• Title（参考訳）: LLMExplainer:グラフ記述生成のための大言語モデルに基づくベイズ推論
• Authors: Jiaxing Zhang, Jiayi Liu, Dongsheng Luo, Jennifer Neville, Hua Wei,
• Abstract要約: 最近の研究は、複数の教師なし学習モデルを通してグラフニューラルネットワーク(GNN)の解釈可能性を提供することを目指している。 データセットが不足しているため、現在の手法ではバイアスの学習が困難になる。 学習バイアス問題を回避するため,GNN説明ネットワークにLarge Language Model (LLM) を知識として組み込む。
• 参考スコア（独自算出の注目度）: 20.234100409015507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies seek to provide Graph Neural Network (GNN) interpretability via multiple unsupervised learning models. Due to the scarcity of datasets, current methods easily suffer from learning bias. To solve this problem, we embed a Large Language Model (LLM) as knowledge into the GNN explanation network to avoid the learning bias problem. We inject LLM as a Bayesian Inference (BI) module to mitigate learning bias. The efficacy of the BI module has been proven both theoretically and experimentally. We conduct experiments on both synthetic and real-world datasets. The innovation of our work lies in two parts: 1. We provide a novel view of the possibility of an LLM functioning as a Bayesian inference to improve the performance of existing algorithms; 2. We are the first to discuss the learning bias issues in the GNN explanation problem.
• Abstract（参考訳）: 最近の研究は、複数の教師なし学習モデルを通してグラフニューラルネットワーク(GNN)の解釈可能性を提供することを目指している。 データセットが不足しているため、現在の手法ではバイアスの学習が困難になる。 この問題を解決するため,GNN説明ネットワークにLarge Language Model (LLM) を知識として組み込んで学習バイアス問題を回避する。 学習バイアスを軽減するため,LLMをベイズ推論(BI)モジュールとして注入する。 BIモジュールの有効性は理論的にも実験的にも証明されている。 合成データセットと実世界のデータセットの両方で実験を行う。 私たちの仕事の革新は2つの部分に分かれています。 1. 既存のアルゴリズムの性能を向上させるため, ベイズ推論として機能するLLMの可能性について, 新たな視点を提供する。 2) GNN説明問題における学習バイアス問題について,まず議論する。

関連論文リスト

• Multi-turn Response Selection with Commonsense-enhanced Language Models [32.921901489497714]
  我々は、事前学習された言語モデルとグラフニューラルネットワーク(SinLG)が融合したシームズネットワークを設計する。 SinLGは、事前訓練された言語モデル(PLM)を利用して、文脈と応答候補における単語相関をキャッチする。 GNNはPLMの微調整を支援することを目的としており、関連する記憶を刺激してパフォーマンスの向上を目指している。
  論文  参考訳（メタデータ） (2024-07-26T03:13:47Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Generalization on the Unseen, Logic Reasoning and Degree Curriculum [33.777993397106584]
  本稿では,GOTU設定の一般化に着目した論理関数の学習について考察する。 我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。 本稿では,トランスフォーマー,ランダム特徴モデル,対角線ネットワークなどを含むネットワークモデルのクラスについて,その見当たらない部分でmin-degree-interpolatorを学習することを示す。
  論文  参考訳（メタデータ） (2023-01-30T17:44:05Z)
• Learning and Evaluating Graph Neural Network Explanations based on Counterfactual and Factual Reasoning [46.20269166675735]
  グラフニューラルネットワーク(GNN)は、構造データに対する学習表現に大きな利点を示している。 本稿では、因果推論理論から推論した対実的・実的(CF2)の知見を取り入れ、学習と評価の両問題を解き明かす。 基礎構造を必要とせずに生成した説明を定量的に評価するために,実測値と実測値に基づいてメトリクスを設計する。
  論文  参考訳（メタデータ） (2022-02-17T18:30:45Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。