論文の概要: S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2605.18579v3
• Date: Wed, 20 May 2026 03:15:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.320225
• Title: S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs
• Title（参考訳）: S2Aligner:スパーステキスト分散グラフのためのペア効率で転送可能な事前トレーニング
• Authors: Yuhan Wang, Haopeng Zhang, Yibo Ding, Jiaqi Yu, Xinyu Zhao, Yuhang Liu, Ziwei Zhang, Xiao Wang, Ruijie Wang,
• Abstract要約: テキスト分散グラフ(TAG)の事前トレーニングは、転送可能なグラフ基盤モデルの構築の中心である。 本稿ではS2Alignerについて述べる。これはスパースTAGにおけるグラフテキスト事前学習のための空間認識と構造拡張 LLM-as-Aligner フレームワークである。
• 参考スコア（独自算出の注目度）: 23.83658846856642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training on text-attributed graphs (TAGs) is central to building transferable graph foundation models, where LLM-as-Aligner methods align graph and text representations through the semantic knowledge of large language models. However, these methods usually assume that node texts provide sufficient and reliable supervision, an assumption often violated in real-world sparse TAGs. When textual anchors are missing, noisy, or uneven across domains, graph structures must be aligned with weak semantic evidence, leading to unreliable structure-semantics correspondence and sparsity-induced transfer bias. This paper presents S2Aligner, a sparsity-aware and structure-enhanced LLM-as-Aligner framework for graph-text pre-training on sparse TAGs. The key idea is to decouple semantic alignment from structural modeling, allowing topology-aware signals to enhance alignment without contaminating the shared semantic space. Specifically, S2Aligner decomposes graph-text representations into semantic and structural components, uses structure-oriented reconstruction with consistency control to inject reliable topology cues into text representations, and suppresses inconsistent structural signals under textual sparsity. Moreover, S2Aligner introduces sparsity-aware cross-domain risk balancing, which calibrates domain risks through a global-domain density ratio and downweights unreliable sparse samples via graph reliability estimation. Theoretical analysis shows that this objective reduces cross-domain generalization gaps by controlling domain risk discrepancy. Extensive experiments across diverse graph domains, sparsity levels, and downstream tasks demonstrate that S2Aligner consistently outperforms existing baselines.
• Abstract（参考訳）: テキスト分散グラフ(TAG)の事前トレーニングは、LLM-as-Alignerメソッドが大きな言語モデルのセマンティック知識を通じてグラフとテキスト表現を整列させる、転送可能なグラフ基盤モデルの構築の中心である。 しかし、これらの手法は通常、ノードテキストが十分かつ信頼性の高い監視を提供すると仮定する。 テキストアンカーが欠落、ノイズ、ドメイン間の不均一な場合、グラフ構造は弱いセマンティックな証拠と整合し、信頼できない構造-意味的対応と疎結合によって引き起こされる伝達バイアスをもたらす。 本稿ではS2Alignerについて述べる。これはスパースTAGにおけるグラフテキスト事前学習のための空間認識と構造拡張 LLM-as-Aligner フレームワークである。 キーとなる考え方は、構造モデリングとセマンティックアライメントを分離することであり、トポロジを意識した信号が共有セマンティック空間を汚染することなくアライメントを強化することができる。 具体的には、S2Alignerは、グラフテキスト表現を意味的および構造的コンポーネントに分解し、整合性制御による構造指向の再構成を使用して、信頼性の高いトポロジキューをテキスト表現に注入し、テキスト空間下での不整合構造信号を抑制する。 さらに、S2Alignerでは、グローバルドメイン密度比とダウンウェイトによるドメインリスクのキャリブレーションと、グラフ信頼度推定による信頼性の低いスパースサンプルによるドメインリスクのキャリブレーションを行う、パリシティ対応のクロスドメインリスクバランシングを導入している。 理論的分析は、この目的がドメインリスクの相違を制御することによって、ドメイン間の一般化ギャップを減少させることを示している。 多様なグラフドメイン、スパーシリティレベル、下流タスクにわたる大規模な実験は、S2Alignerが既存のベースラインを一貫して上回ることを示した。

関連論文リスト

• PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution [51.96078493242164]
  PRISMは単一ステップ拡散ベースのText-SRフレームワークである。 PRISMはミリ秒レベルの推論で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2026-05-13T05:31:06Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• Text2Graph VPR: A Text-to-Graph Expert System for Explainable Place Recognition in Changing Environments [0.0]
  Text2Graph VPRは、画像シーケンスをテキストシーン記述に変換する。 シーングラフはオブジェクト、属性、ペア関係をキャプチャする。 厳格な外見変化下での頑健な検索を実証した。
  論文  参考訳（メタデータ） (2025-12-21T06:16:20Z)
• Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex [0.0]
  BiGTexは、スタック化されたGraph-Text Fusion Unitを通じてGNNとLLMを密に統合する新しいアーキテクチャである。 BiGTexはノード分類における最先端性能を実現し、リンク予測に効果的に一般化する。
  論文  参考訳（メタデータ） (2025-04-16T20:25:11Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Graph Spectral Embedding using the Geodesic Betweeness Centrality [76.27138343125985]
  本稿では、局所的な類似性、接続性、グローバル構造を教師なしで表現するグラフSylvester Embedding (GSE)を紹介する。 GSEはシルヴェスター方程式の解を用いて、ネットワーク構造と近傍の近接を1つの表現で捉える。
  論文  参考訳（メタデータ） (2022-05-07T04:11:23Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。