論文の概要: Harnessing the Power of Large Language Model for Uncertainty Aware Graph Processing

• arxiv url: http://arxiv.org/abs/2404.00589v2
• Date: Fri, 12 Apr 2024 14:30:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 17:03:53.315941
• Title: Harnessing the Power of Large Language Model for Uncertainty Aware Graph Processing
• Title（参考訳）: 不確実性認識グラフ処理のための大規模言語モデルのパワーの調和
• Authors: Zhenyu Qian, Yiming Qian, Yuting Song, Fei Gao, Hai Jin, Chen Yu, Xia Xie,
• Abstract要約: 本稿では,大言語モデル(LLM)のパワーを生かした新しい手法を提案する。 筆者らは,2つのグラフ処理タスク,すなわち知識グラフ補完とグラフ分類について実験を行った。 LLM が生成した回答の正確性を予測するため,10 つのデータセットのうち 7 つに対して 0.8 以上の AUC を達成した。
• 参考スコア（独自算出の注目度）: 24.685942503019948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Handling graph data is one of the most difficult tasks. Traditional techniques, such as those based on geometry and matrix factorization, rely on assumptions about the data relations that become inadequate when handling large and complex graph data. On the other hand, deep learning approaches demonstrate promising results in handling large graph data, but they often fall short of providing interpretable explanations. To equip the graph processing with both high accuracy and explainability, we introduce a novel approach that harnesses the power of a large language model (LLM), enhanced by an uncertainty-aware module to provide a confidence score on the generated answer. We experiment with our approach on two graph processing tasks: few-shot knowledge graph completion and graph classification. Our results demonstrate that through parameter efficient fine-tuning, the LLM surpasses state-of-the-art algorithms by a substantial margin across ten diverse benchmark datasets. Moreover, to address the challenge of explainability, we propose an uncertainty estimation based on perturbation, along with a calibration scheme to quantify the confidence scores of the generated answers. Our confidence measure achieves an AUC of 0.8 or higher on seven out of the ten datasets in predicting the correctness of the answer generated by LLM.
• Abstract（参考訳）: グラフデータの処理は、最も難しいタスクの1つです。 幾何学や行列因数分解に基づくような伝統的な手法は、大規模で複雑なグラフデータを扱う際に不適切なデータ関係に関する仮定に依存する。 一方、ディープラーニングアプローチは、大きなグラフデータを扱う上で有望な結果を示すが、解釈可能な説明を提供するには足りないことが多い。 グラフ処理に高い精度と説明可能性を持たせるために,不確実性認識モジュールによって強化された大規模言語モデル(LLM)のパワーを利用する新しい手法を導入する。 筆者らは,2つのグラフ処理タスク,すなわち知識グラフ補完とグラフ分類について実験を行った。 その結果、パラメータ効率のよい微調整により、LLMは10種類のベンチマークデータセットに対して、最先端のアルゴリズムをかなり上回ります。 さらに,説明可能性の課題に対処するために,摂動に基づく不確実性推定と,生成した回答の信頼度を定量化するキャリブレーション手法を提案する。 LLM が生成した回答の正確性を予測するため,10 つのデータセットのうち 7 つに対して 0.8 以上の AUC を達成した。

関連論文リスト

• CORE: Data Augmentation for Link Prediction via Information Bottleneck [25.044734252779975]
  リンク予測(LP)はグラフ表現学習の基本的な課題である。 LPモデルのコンパクトかつ予測的な拡張を学習するための新しいデータ拡張手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2024-04-17T03:20:42Z)
• Graph Relation Aware Continual Learning [3.908470250825618]
  連続グラフ学習(CGL)は、無限のグラフデータストリームから学習する問題を研究する。 我々は、縁の裏側にある潜伏関係を探索する関係発見モジュールからなるRAM-CGと呼ばれる関係認識適応モデルを設計する。 RAM-CGはCitationNet、OGBN-arxiv、TWITCHデータセットの最先端結果に対して2.2%、6.9%、および6.6%の精度向上を提供する。
  論文  参考訳（メタデータ） (2023-08-16T09:53:20Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Learning Graphs from Smooth Signals under Moment Uncertainty [23.868075779606425]
  与えられたグラフ信号の集合からグラフ構造を推測する問題を検討する。 従来のグラフ学習モデルは、この分布の不確実性を考慮していない。
  論文  参考訳（メタデータ） (2021-05-12T06:47:34Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。