論文の概要: DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs

• arxiv url: http://arxiv.org/abs/2604.17411v1
• Date: Sun, 19 Apr 2026 12:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.512526
• Title: DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs
• Title（参考訳）: DuConTE:Topology-Constrained Attention for Text-attributed Graphs
• Authors: Lexuan Liang, Tao Zou, Xuxiang Ta, Zekun Qiu,
• Abstract要約: テキスト分散グラフは、ノードテキストの意味情報をトポロジ構造と統合する。 既存のアプローチは通常、言語モデル(LM)を使用してテキストコンテンツをエンコードする トポロジに制約のある二重粒度テキストエンコーダであるDuConTEを提案する。
• 参考スコア（独自算出の注目度）: 1.2958409015469472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-attributed graphs integrate semantic information of node texts with topological structure, offering significant value in various applications such as document classification and information extraction. Existing approaches typically encode textual content using language models (LMs), followed by graph neural networks (GNNs) to process structural information. However, during the LM-based text encoding phase, most methods not only perform semantic interaction solely at the word-token granularity, but also neglect the structural dependencies among texts from different nodes. In this work, we propose DuConTE, a dual-granularity text encoder with topology-constrained attention. The model employs a cascaded architecture of two pretrained LMs, encoding semantics first at the word-token granularity and then at the node granularity. During the self-attention computation in each LM, we dynamically adjust the attention mask matrix based on node connectivity, guiding the model to learn semantic correlations informed by the graph structure. Furthermore, when composing node representations from word-token embeddings, we separately evaluate the importance of tokens under the center-node context and the neighborhood context, enabling the capture of more contextually relevant semantic information. Extensive experiments on multiple benchmark datasets demonstrate that DuConTE achieves state-of-the-art performance on the majority of them.
• Abstract（参考訳）: テキスト分散グラフは、ノードテキストの意味情報をトポロジ構造と統合し、文書分類や情報抽出といった様々なアプリケーションにおいて重要な価値を提供する。 既存のアプローチは通常、言語モデル(LM)を使用してテキストコンテンツをエンコードし、続いてグラフニューラルネットワーク(GNN)を使用して構造情報を処理する。 しかし、LMベースのテキスト符号化フェーズでは、ほとんどのメソッドは単語の粒度だけでなく、異なるノードからのテキスト間の構造的依存関係も無視する。 本研究では、トポロジに制約のある二重粒度テキストエンコーダであるDuConTEを提案する。 このモデルは2つの事前訓練されたLMのカスケードアーキテクチャを用いており、まず単語間の粒度で、次にノードの粒度で意味を符号化する。 各LMにおける自己アテンション計算において,ノード接続に基づくアテンションマスク行列を動的に調整し,グラフ構造から得られる意味的相関を学習するためのモデルを導出する。 さらに,単語-token埋め込みからノード表現を構成する場合,中心ノードコンテキストと近傍コンテキスト下でのトークンの重要性を別々に評価し,より文脈的に関連する意味情報の取得を可能にする。 複数のベンチマークデータセットに対する大規模な実験は、DuConTEが最先端のパフォーマンスを実現していることを示している。

関連論文リスト

• Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex [0.0]
  BiGTexは、スタック化されたGraph-Text Fusion Unitを通じてGNNとLLMを密に統合する新しいアーキテクチャである。 BiGTexはノード分類における最先端性能を実現し、リンク予測に効果的に一般化する。
  論文  参考訳（メタデータ） (2025-04-16T20:25:11Z)
• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models [31.443478448031886]
  RoSE (Relation-oriented Semantic Edge-Decomposition) は、生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。 我々のフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上させ、ウィスコンシンデータセットでは最大16%の改善を実現した。
  論文  参考訳（メタデータ） (2024-05-28T20:54:47Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
  テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。 既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。 学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-10-10T14:59:22Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Dependency Parsing based Semantic Representation Learning with Graph Neural Network for Enhancing Expressiveness of Text-to-Speech [49.05471750563229]
  文の依存性関係を考慮したグラフニューラルネットワークに基づく意味表現学習手法を提案する。 提案手法は,LJSpeech と Bilzzard Challenge 2013 のデータセットにおいて,バニラBERT の機能をベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-14T13:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。