論文の概要: Comprehending Knowledge Graphs with Large Language Models for Recommender Systems
- arxiv url: http://arxiv.org/abs/2410.12229v1
- Date: Wed, 16 Oct 2024 04:44:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:41:23.751419
- Title: Comprehending Knowledge Graphs with Large Language Models for Recommender Systems
- Title（参考訳）: リコメンダシステムのための大規模言語モデルを用いた知識グラフの補完
- Authors: Ziqiang Cui, Yunpeng Weng, Xing Tang, Fuyuan Lyu, Dugang Liu, Xiuqiang He, Chen Ma,
- Abstract要約: 本稿では,知識認識のための大規模言語モデルを活用したCoLaKGという新しい手法を提案する。
まず、KG から各項目を中心とする部分グラフを抽出し、それらを LLM のテキスト入力に変換する。
LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
- 参考スコア（独自算出の注目度）: 13.270018897057293
- License:
- Abstract: Recently, the introduction of knowledge graphs (KGs) has significantly advanced recommender systems by facilitating the discovery of potential associations between items. However, existing methods still face several limitations. First, most KGs suffer from missing facts or limited scopes. This can lead to biased knowledge representations, thereby constraining the model's performance. Second, existing methods typically convert textual information into IDs, resulting in the loss of natural semantic connections between different items. Third, existing methods struggle to capture high-order relationships in global KGs due to their inefficient layer-by-layer information propagation mechanisms, which are prone to introducing significant noise. To address these limitations, we propose a novel method called CoLaKG, which leverages large language models (LLMs) for knowledge-aware recommendation. The extensive world knowledge and remarkable reasoning capabilities of LLMs enable them to supplement KGs. Additionally, the strong text comprehension abilities of LLMs allow for a better understanding of semantic information. Based on this, we first extract subgraphs centered on each item from the KG and convert them into textual inputs for the LLM. The LLM then outputs its comprehension of these item-centered subgraphs, which are subsequently transformed into semantic embeddings. Furthermore, to utilize the global information of the KG, we construct an item-item graph using these semantic embeddings, which can directly capture higher-order associations between items. Both the semantic embeddings and the structural information from the item-item graph are effectively integrated into the recommendation model through our designed representation alignment and neighbor augmentation modules. Extensive experiments on four real-world datasets demonstrate the superiority of our method.
- Abstract（参考訳）: 近年、知識グラフ(KG)の導入は、アイテム間の潜在的な関連の発見を容易にすることで、推奨システムを大幅に進歩させた。
しかし、既存の手法にはいくつかの制限がある。
第一に、ほとんどのKGは、欠落した事実や限られた範囲に悩まされる。
これはバイアスのある知識表現をもたらし、それによってモデルのパフォーマンスを制限します。
第二に、既存の手法は典型的にはテキスト情報をIDに変換し、結果として異なる項目間の自然な意味的接続が失われる。
第3に,非効率な層間情報伝達機構により,大域的なKGの高次関係を捉えるのに苦労している。
これらの制約に対処するため,知識認識のための大規模言語モデル(LLM)を活用したCoLaKGという新しい手法を提案する。
LLMの広範な世界知識と顕著な推論能力により、彼らはKGを補うことができる。
加えて、LLMの強いテキスト理解能力により、意味情報の理解を深めることができる。
そこで我々はまず,KG から各項目を中心とした部分グラフを抽出し,それらを LLM のテキスト入力に変換する。
LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
さらに、KGのグローバルな情報を活用するために、これらのセマンティック埋め込みを用いてアイテム-イムグラフを構築し、アイテム間の高次関連を直接キャプチャする。
セマンティック埋め込みとアイテム項目グラフからの構造情報は、設計した表現アライメントと隣り合う拡張モジュールを通して、レコメンデーションモデルに効果的に統合される。
4つの実世界のデータセットに対する大規模な実験により,本手法の優位性を実証した。
関連論文リスト
- Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。
提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。
2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2024-11-26T12:46:57Z) - Combining Knowledge Graphs and Large Language Models [4.991122366385628]
大規模言語モデル(LLM)は、言語理解と生成において驚くべき結果を示す。
幻覚やドメイン固有の知識の欠如など、いくつかの欠点がある。
これらの問題は知識グラフ(KG)を組み込むことで効果的に緩和することができる。
本研究は、KGを用いたLLM、LLMベースのKG、LLM-KGハイブリッドアプローチに関する28の論文の概要をまとめた。
論文 参考訳（メタデータ） (2024-07-09T05:42:53Z) - Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。
LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。
上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文 参考訳（メタデータ） (2024-06-19T21:45:20Z) - Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。
まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。
KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
論文 参考訳（メタデータ） (2024-03-12T04:47:29Z) - Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。
現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。
非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
論文 参考訳（メタデータ） (2024-02-18T10:44:03Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。
知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文 参考訳（メタデータ） (2023-06-14T07:15:26Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z) - Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳（メタデータ） (2022-11-15T18:26:26Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳（メタデータ） (2022-06-28T19:46:29Z) - KELM: Knowledge Enhanced Pre-Trained Language Representations with
Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。
我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文 参考訳（メタデータ） (2021-09-09T12:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。