論文の概要: An Automatic Graph Construction Framework based on Large Language Models for Recommendation

• arxiv url: http://arxiv.org/abs/2412.18241v1
• Date: Tue, 24 Dec 2024 07:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:44.792677
• Title: An Automatic Graph Construction Framework based on Large Language Models for Recommendation
• Title（参考訳）: 推薦用大規模言語モデルに基づくグラフ自動構築フレームワーク
• Authors: Rong Shan, Jianghao Lin, Chenxu Zhu, Bo Chen, Menghui Zhu, Kangning Zhang, Jieming Zhu, Ruiming Tang, Yong Yu, Weinan Zhang,
• Abstract要約: 本稿では,大規模言語モデルに基づく自動グラフ構築フレームワークであるAutoGraphを紹介する。 LLMはユーザ好みとアイテムの知識を推論し、セマンティックベクターとして符号化する。 潜在因子は、ユーザ/イテムノードをリンクする余分なノードとして組み込まれ、結果として、深いグローバルビューセマンティクスを持つグラフとなる。
• 参考スコア（独自算出の注目度）: 49.51799417575638
• License:
• Abstract: Graph neural networks (GNNs) have emerged as state-of-the-art methods to learn from graph-structured data for recommendation. However, most existing GNN-based recommendation methods focus on the optimization of model structures and learning strategies based on pre-defined graphs, neglecting the importance of the graph construction stage. Earlier works for graph construction usually rely on speciffic rules or crowdsourcing, which are either too simplistic or too labor-intensive. Recent works start to utilize large language models (LLMs) to automate the graph construction, in view of their abundant open-world knowledge and remarkable reasoning capabilities. Nevertheless, they generally suffer from two limitations: (1) invisibility of global view (e.g., overlooking contextual information) and (2) construction inefficiency. To this end, we introduce AutoGraph, an automatic graph construction framework based on LLMs for recommendation. Specifically, we first use LLMs to infer the user preference and item knowledge, which is encoded as semantic vectors. Next, we employ vector quantization to extract the latent factors from the semantic vectors. The latent factors are then incorporated as extra nodes to link the user/item nodes, resulting in a graph with in-depth global-view semantics. We further design metapath-based message aggregation to effectively aggregate the semantic and collaborative information. The framework is model-agnostic and compatible with different backbone models. Extensive experiments on three real-world datasets demonstrate the efficacy and efffciency of AutoGraph compared to existing baseline methods. We have deployed AutoGraph in Huawei advertising platform, and gain a 2.69% improvement on RPM and a 7.31% improvement on eCPM in the online A/B test. Currently AutoGraph has been used as the main trafffc model, serving hundreds of millions of people.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、推奨のためにグラフ構造化データから学ぶ最先端の手法として登場した。 しかし、既存のGNNベースのレコメンデーション手法の多くは、事前定義されたグラフに基づくモデル構造と学習戦略の最適化に重点を置いており、グラフ構築ステージの重要性を無視している。 グラフ構築の以前の作業は、通常、単純すぎるか労働集約的すぎる、仕様ルールやクラウドソーシングに依存していた。 最近の研究は、その豊富なオープンワールド知識と顕著な推論能力の観点から、グラフ構築を自動化するために、大きな言語モデル(LLM)を使い始めています。 それにもかかわらず、一般的には、(1)グローバルな視点(例えば、文脈情報を見渡す)の可視性と(2)構築の非効率性という2つの制限に悩まされている。 この目的のために,LLMをベースとした自動グラフ構築フレームワークであるAutoGraphを紹介した。 具体的には,まず LLM を用いてユーザの好みや項目の知識を推測し,意味ベクトルとして符号化する。 次に,意味的ベクトルから潜在因子を抽出するためにベクトル量子化を用いる。 潜在因子は、ユーザ/イテムノードをリンクする余分なノードとして組み込まれ、結果として、深いグローバルビューセマンティクスを持つグラフとなる。 さらにメタパスに基づくメッセージアグリゲーションを設計し、セマンティックおよび協調的な情報を効果的に集約する。 フレームワークはモデルに依存しず、異なるバックボーンモデルと互換性がある。 3つの実世界のデータセットに対する大規模な実験は、既存のベースライン手法と比較してAutoGraphの有効性と効率性を示している。 我々はHuaweiの広告プラットフォームにAutoGraphをデプロイし、RPMが2.69%改善し、オンラインA/BテストでeCPMが7.31%改善した。 現在、AutoGraphは主要なtrafffcモデルとして使用されており、数十万人が利用しています。

関連論文リスト

• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• OpenGraph: Towards Open Graph Foundation Models [20.401374302429627]
  グラフニューラルネットワーク(GNN)は、構造情報を符号化するための有望な技術として登場した。 主な課題は、異なる性質を持つグラフデータを一般化することの難しさである。 この課題に対処するために,OpenGraphと呼ばれる新しいグラフ基盤モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-02T08:05:03Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Sparsity exploitation via discovering graphical models in multi-variate time-series forecasting [1.2762298148425795]
  本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。 まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。 次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-06-29T16:48:00Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。