論文の概要: HierPromptLM: A Pure PLM-based Framework for Representation Learning on Heterogeneous Text-rich Networks

• arxiv url: http://arxiv.org/abs/2501.12857v1
• Date: Wed, 22 Jan 2025 13:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:28:59.508475
• Title: HierPromptLM: A Pure PLM-based Framework for Representation Learning on Heterogeneous Text-rich Networks
• Title（参考訳）: HierPromptLM:不均一テキストリッチネットワーク上での表現学習のためのPure PLMベースのフレームワーク
• Authors: Qiuyu Zhu, Liang Zhang, Qianxiong Xu, Cheng Long,
• Abstract要約: テキストデータとグラフ構造の両方を,個別の処理を必要とせずにシームレスにモデル化する,純粋なPLMベースのフレームワークであるHierPromptLMを提案する。 この基礎の上に,表現学習のための微調整 PLM に2つの革新的 HTRN 調整事前学習タスクを導入する。
• 参考スコア（独自算出の注目度）: 19.46266616507817
• License:
• Abstract: Representation learning on heterogeneous text-rich networks (HTRNs), which consist of multiple types of nodes and edges with each node associated with textual information, is essential for various real-world applications. Given the success of pretrained language models (PLMs) in processing text data, recent efforts have focused on integrating PLMs into HTRN representation learning. These methods typically handle textual and structural information separately, using both PLMs and heterogeneous graph neural networks (HGNNs). However, this separation fails to capture the critical interactions between these two types of information within HTRNs. Additionally, it necessitates an extra alignment step, which is challenging due to the fundamental differences between distinct embedding spaces generated by PLMs and HGNNs. To deal with it, we propose HierPromptLM, a novel pure PLM-based framework that seamlessly models both text data and graph structures without the need for separate processing. Firstly, we develop a Hierarchical Prompt module that employs prompt learning to integrate text data and heterogeneous graph structures at both the node and edge levels, within a unified textual space. Building upon this foundation, we further introduce two innovative HTRN-tailored pretraining tasks to fine-tune PLMs for representation learning by emphasizing the inherent heterogeneity and interactions between textual and structural information within HTRNs. Extensive experiments on two real-world HTRN datasets demonstrate HierPromptLM outperforms state-of-the-art methods, achieving significant improvements of up to 6.08% for node classification and 10.84% for link prediction.
• Abstract（参考訳）: ヘテロジニアステキストリッチネットワーク(HTRN)上での表現学習は,テキスト情報に関連付けられたノードごとに複数のノードとエッジから構成される。 テキストデータ処理における事前学習言語モデル(PLM)の成功を踏まえ、近年の取り組みは、PLMをHTRN表現学習に統合することに集中している。 これらの手法は典型的には、PLMとヘテロジニアスグラフニューラルネットワーク(HGNN)の両方を用いて、テキスト情報と構造情報を別々に扱う。 しかし、この分離は、これらの2種類の情報間の重要な相互作用をHTRN内で捉えることに失敗する。 さらに、PLMとHGNNによって生成される異なる埋め込み空間の根本的な違いのため、追加のアライメントステップが必要である。 そこで本研究では,テキストデータとグラフ構造の両方をシームレスにモデル化する,新たなPLMベースのフレームワークであるHierPromptLMを提案する。 まず, テキストデータとヘテロジニアスグラフ構造をノードレベルとエッジレベルで統合し, 統一されたテキスト空間内で直接学習する階層型Promptモジュールを開発する。 この基盤を基盤として,HTRN内のテキスト情報と構造情報との相互作用と固有の不均一性を強調することにより,表現学習のための微調整 PLM に2つの革新的 HTRN 調整事前学習タスクを導入する。 2つの実世界のHTRNデータセットに対する大規模な実験では、HierPromptLMは最先端の手法よりも優れており、ノード分類では最大6.08%、リンク予測では10.84%の大幅な改善が達成されている。

関連論文リスト

• Advancing Prompt Learning through an External Layer [24.77977865016954]
  本稿では,新しい外部層(EnLa)を備えたEnPromptというパラダイムを提案する。 学習可能な外部レイヤは、トレーニング済みのCLIPの有効な埋め込みに基づいて構築される。 4つの実験により,本手法が既存の即時学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-29T03:30:09Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• DSE-GAN: Dynamic Semantic Evolution Generative Adversarial Network for Text-to-Image Generation [71.87682778102236]
  本稿では,動的セマンティック進化GAN(DSE-GAN)を提案する。 DSE-GANは2つの広く使用されているベンチマークで7.48%と37.8%のFID改善を達成した。
  論文  参考訳（メタデータ） (2022-09-03T06:13:26Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Adversarial Context Aware Network Embeddings for Textual Networks [8.680676599607123]
  既存のアプローチでは、接続ノードの埋め込みを同様のものにすることで、テキストとネットワーク構造の埋め込みを学習する。 これは、これらのアプローチが埋め込みを学ぶためにエッジ情報を必要としており、目に見えないノードの埋め込みを学ぶことができないことを意味している。 本稿では,モダリティ融合と未確認ノードの埋め込みを学習する能力の両方を実現するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-11-05T05:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。