論文の概要: HiTeC: Hierarchical Contrastive Learning on Text-Attributed Hypergraph with Semantic-Aware Augmentation

• arxiv url: http://arxiv.org/abs/2508.03104v1
• Date: Tue, 05 Aug 2025 05:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.797521
• Title: HiTeC: Hierarchical Contrastive Learning on Text-Attributed Hypergraph with Semantic-Aware Augmentation
• Title（参考訳）: HiTeC: 意味認識型ハイパーグラフにおける階層的コントラスト学習
• Authors: Mengting Pan, Fan Li, Xiaoyang Wang, Wenjie Zhang, Xuemin Lin,
• Abstract要約: テキスト分散ハイパーグラフを用いたスケーラブルで効果的な自己教師型学習のための意味認識機能を備えた2段階階層型コントラスト学習フレームワークであるHiTeCを紹介する。 最初の段階では、従来の手法のグラフに依存しない性質を克服するために、構造を意識したコントラスト目的でテキストエンコーダを事前訓練する。 第2段階では、情報的ビュー生成を容易にするために、アクセシブル・エンハンスド・テキスト・エンハンスメントとセマンティック・アウェア・ハイパーエッジ・ドロップを含む2つのセマンティック・アウェア・エンハンスメント戦略を導入する。
• 参考スコア（独自算出の注目度）: 26.79020814067813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning (CL) has become a dominant paradigm for self-supervised hypergraph learning, enabling effective training without costly labels. However, node entities in real-world hypergraphs are often associated with rich textual information, which is overlooked in prior works. Directly applying existing CL-based methods to such text-attributed hypergraphs (TAHGs) leads to three key limitations: (1) The common use of graph-agnostic text encoders overlooks the correlations between textual content and hypergraph topology, resulting in suboptimal representations. (2) Their reliance on random data augmentations introduces noise and weakens the contrastive objective. (3) The primary focus on node- and hyperedge-level contrastive signals limits the ability to capture long-range dependencies, which is essential for expressive representation learning. Although HyperBERT pioneers CL on TAHGs, its co-training paradigm suffers from poor scalability. To fill the research gap, we introduce HiTeC, a two-stage hierarchical contrastive learning framework with semantic-aware augmentation for scalable and effective self-supervised learning on TAHGs. In the first stage, we pre-train the text encoder with a structure-aware contrastive objective to overcome the graph-agnostic nature of conventional methods. In the second stage, we introduce two semantic-aware augmentation strategies, including prompt-enhanced text augmentation and semantic-aware hyperedge drop, to facilitate informative view generation. Furthermore, we propose a multi-scale contrastive loss that extends existing objectives with an $s$-walk-based subgraph-level contrast to better capture long-range dependencies. By decoupling text encoder pretraining from hypergraph contrastive learning, this two-stage design enhances scalability without compromising representation quality. Extensive experiments confirm the effectiveness of HiTeC.
• Abstract（参考訳）: コントラスト学習(CL)は自己教師付きハイパーグラフ学習において支配的なパラダイムとなり、コストのかかるラベルを使わずに効果的なトレーニングを可能にしている。 しかし、実世界のハイパーグラフのノードエンティティは、しばしば、以前の研究で見落とされたリッチなテキスト情報と関連付けられている。 1) グラフに依存しないテキストエンコーダの共通使用は、テキストコンテンツとハイパーグラフトポロジの相関を見落とし、その結果、準最適表現をもたらす。 2) ランダムなデータ拡張への依存はノイズを生じさせ、対照的な目的を弱める。 (3) ノードレベルおよびハイパーエッジレベルのコントラスト信号に重点を置くことは、表現表現学習に不可欠な長距離依存関係をキャプチャする能力を制限している。 HyperBERTは CL on TAHGs の先駆者であるが、そのコトレーニングパラダイムはスケーラビリティの低下に悩まされている。 研究ギャップを埋めるために,TAHG上でのスケーラブルで効果的な自己教師型学習のための意味認識機能を備えた2段階の階層型コントラスト学習フレームワークであるHiTeCを紹介する。 最初の段階では、従来の手法のグラフに依存しない性質を克服するために、構造を意識したコントラスト目的でテキストエンコーダを事前訓練する。 第2段階では、情報的ビュー生成を容易にするために、アクセシブル・エンハンスド・テキスト・エンハンスメントとセマンティック・アウェア・ハイパーエッジ・ドロップを含む2つのセマンティック・アウェア・エンハンスメント戦略を導入する。 さらに,既存の目的を$s$-walk-based subgraph-level contrastで拡張したマルチスケールのコントラストロスを提案する。 テキストエンコーダをハイパーグラフのコントラスト学習から切り離すことにより、この2段階の設計は、表現品質を損なうことなくスケーラビリティを向上させる。 広範囲な実験により、HiTeCの有効性が確認された。

関連論文リスト

• Hierarchical Cross-modal Prompt Learning for Vision-Language Models [9.128564580725627]
  HiCroPLは階層型クロスモーダルなPrompt Learningフレームワークである。 テキストと視覚の相補的な強みを活用して知識の流れを導出する。 11のベンチマークで最先端の結果が得られ、大幅な改善がなされている。
  論文  参考訳（メタデータ） (2025-07-20T14:18:04Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning [0.0]
  グラフ表現学習は、ノード分類やリンク予測といったタスクの基盤として登場した。 現在の自己教師付き学習(SSL)手法は、計算の非効率性、対照的な目的への依存、表現の崩壊といった課題に直面している。 本稿では,意味情報と構造情報を保存しながら,対照的な目的と負のサンプリングを排除したグラフSSLのための新しい結合埋め込み予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-02T07:42:45Z)
• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  本稿では,事前学習したグラフニューラルネットワークを下流タスクやデータに適用するためのマルチモーダル・プロンプト学習パラダイムを提案する。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。 私たちは、GNNを極めて弱いテキスト管理で見えないクラスに一般化できるCLIPスタイルのゼロショット分類プロトタイプを構築した。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Augmentations in Hypergraph Contrastive Learning: Fabricated and Generative [126.0985540285981]
  我々は、ハイパーグラフニューラルネットワークの一般化性を改善するために、画像/グラフからの対照的な学習アプローチ(ハイパーGCLと呼ぶ)を適用する。 我々は、高次関係を符号化したハイパーエッジを増大させる2つのスキームを作成し、グラフ構造化データから3つの拡張戦略を採用する。 拡張ビューを生成するためのハイパーグラフ生成モデルを提案し、次に、ハイパーグラフ拡張とモデルパラメータを協調的に学習するエンド・ツー・エンドの微分可能なパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-10-07T20:12:20Z)
• Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation [62.96628432641806]
  Scene Graph Generationは、まず与えられた画像内の視覚的コンテンツをエンコードし、次にそれらをコンパクトな要約グラフに解析することを目的としている。 まず,モーダル内改良とモーダル間相互作用を容易にする新しいスタック型ハイブリッド・アテンションネットワークを提案する。 次に、デコーダを最適化するための革新的なグループ協調学習戦略を考案する。
  論文  参考訳（メタデータ） (2022-03-18T09:14:13Z)
• Hypergraph Pre-training with Graph Neural Networks [30.768860573214102]
  本稿では,ハイパーグラフのためのグラフニューラルネットワークを用いたエンドツーエンドのバイレベル事前学習戦略を提案する。 HyperGeneという名前のフレームワークには3つの特長がある。 利用可能な場合、ラベル情報を取得することができるが、より重要なことは、主に自己管理方式で設計されており、適用範囲を大きく広げていることである。
  論文  参考訳（メタデータ） (2021-05-23T06:33:57Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。