論文の概要: LLaSA: Large Language and Structured Data Assistant

• arxiv url: http://arxiv.org/abs/2411.14460v1
• Date: Sat, 16 Nov 2024 12:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 04:42:54.020749
• Title: LLaSA: Large Language and Structured Data Assistant
• Title（参考訳）: LLaSA: 大規模言語と構造化データアシスタント
• Authors: Yao Xu, Shizhu He, Zeng Xiangrong, Jiabei Chen, Guang Liu, Bingning Wang, Jun Zhao, Kang Liu,
• Abstract要約: グラフニュートラルネットワーク (GNN) は、Large Language Models (LLM) の入力に付加的なモダリティとして導入された。 構造化データの処理能力を高めるために, textbfLarge textbfLanguage と textbfStructured Data textbfAssistant (LLaSA) を提案する。
• 参考スコア（独自算出の注目度）: 27.452536284165273
• License:
• Abstract: Structured data, such as tables, graphs, and databases, play a critical role in plentiful NLP tasks such as question answering and dialogue system. Recently, inspired by Vision-Language Models, Graph Neutral Networks (GNNs) have been introduced as an additional modality into the input of Large Language Models (LLMs) to improve their performance on Structured Knowledge Grounding (SKG) tasks. However, those GNN-enhanced LLMs have the following limitations: (1) They employ diverse GNNs to model varying types of structured data, rendering them unable to uniformly process various forms of structured data. (2) The pretraining of GNNs is coupled with specific LLMs, which prevents GNNs from fully aligning with the textual space and limits their adaptability to other LLMs. To address these issues, we propose \textbf{L}arge \textbf{L}anguage and \textbf{S}tructured Data \textbf{A}ssistant (LLaSA), a general framework for enhancing LLMs' ability to handle structured data. Specifically, we represent various types of structured data in a unified hypergraph format, and use self-supervised learning to pretrain a hypergraph encoder, and a G-Former compressing encoded hypergraph representations with cross-attention. The compressed hypergraph representations are appended to the serialized inputs during training and inference stages of LLMs. Experimental results on multiple SKG tasks show that our pretrained hypergraph encoder can adapt to various LLMs and enhance their ability to process different types of structured data. Besides, LLaSA, with LoRA fine-tuning, outperforms previous SOTA method using full parameters tuning.
• Abstract（参考訳）: テーブル、グラフ、データベースなどの構造化データは、質問応答や対話システムといった豊富なNLPタスクにおいて重要な役割を果たす。 近年,視覚言語モデルにインスパイアされたグラフニュートラルネットワーク (GNN) が,構造化知識基盤(SKG)タスクの性能向上のために,Large Language Models (LLM) の入力に付加的なモダリティとして導入された。 しかし、これらのGNN強化LLMには次のような制限がある: 1) 様々な種類の構造化データのモデリングに多様なGNNを使用しており、様々な構造化データの均一な処理ができない。 2) GNNの事前訓練は特定のLLMと結合しており,GNNがテキスト空間と完全に整合し,他のLLMへの適応性が制限されるのを防いでいる。 これらの問題に対処するため、構造化データを扱うLLMの能力を高めるための一般的なフレームワークである \textbf{L}arge \textbf{L}anguage と \textbf{S}tructured Data \textbf{A}ssistant (LLaSA) を提案する。 具体的には,多種多様な構造化データを統一されたハイパーグラフ形式で表現し,自己教師付き学習を用いてハイパーグラフエンコーダを事前訓練し,符号化されたハイパーグラフ表現をクロスアテンションで圧縮するG-Formerを提案する。 圧縮されたハイパーグラフ表現は、LDMのトレーニングおよび推論段階でシリアライズされた入力に付加される。 複数のSKGタスクに対する実験結果から,事前学習したハイパーグラフエンコーダは様々なLSMに適応し,異なるタイプの構造化データを処理する能力を向上させることができることがわかった。 さらに、LLaSAはLoRAファインチューニングにより、完全なパラメータチューニングを使用して従来のSOTA法より優れている。

関連論文リスト

• Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion [20.973071287301067]
  大規模言語モデル(LLM)は、膨大な固有の知識と優れた意味理解能力を示す。 実証的な証拠は、LLMは従来の知識グラフ補完手法よりも一貫して性能が悪いことを示唆している。 そこで本研究では,これらの課題に対処するために,FtGという命令チューニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:22:04Z)
• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。 我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
  グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。 グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。 我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Graph Neural Prompting with Large Language Models [32.97391910476073]
  Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。 複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-27T06:33:29Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。