論文の概要: SE-GCL: An Event-Based Simple and Effective Graph Contrastive Learning for Text Representation

• arxiv url: http://arxiv.org/abs/2412.11652v1
• Date: Mon, 16 Dec 2024 10:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:36.941687
• Title: SE-GCL: An Event-Based Simple and Effective Graph Contrastive Learning for Text Representation
• Title（参考訳）: SE-GCL: テキスト表現のためのイベントベースの単純かつ効果的なグラフコントラスト学習
• Authors: Tao Meng, Wei Ai, Jianbin Li, Ze Wang, Yuntao Shou, Keqin Li,
• Abstract要約: テキスト表現のためのイベントベース,シンプル,効果的なグラフコントラスト学習(SE-GCL)を提案する。 正確には、テキストからイベントブロックを抽出し、意味的相互接続を表す内部関係グラフを構築する。 特に、コア表現セマンティクスのためのイベントスケルトンの概念を導入し、典型的には複雑なデータ拡張テクニックを単純化する。
• 参考スコア（独自算出の注目度）: 23.60337935010744
• License:
• Abstract: Text representation learning is significant as the cornerstone of natural language processing. In recent years, graph contrastive learning (GCL) has been widely used in text representation learning due to its ability to represent and capture complex text information in a self-supervised setting. However, current mainstream graph contrastive learning methods often require the incorporation of domain knowledge or cumbersome computations to guide the data augmentation process, which significantly limits the application efficiency and scope of GCL. Additionally, many methods learn text representations only by constructing word-document relationships, which overlooks the rich contextual semantic information in the text. To address these issues and exploit representative textual semantics, we present an event-based, simple, and effective graph contrastive learning (SE-GCL) for text representation. Precisely, we extract event blocks from text and construct internal relation graphs to represent inter-semantic interconnections, which can ensure that the most critical semantic information is preserved. Then, we devise a streamlined, unsupervised graph contrastive learning framework to leverage the complementary nature of the event semantic and structural information for intricate feature data capture. In particular, we introduce the concept of an event skeleton for core representation semantics and simplify the typically complex data augmentation techniques found in existing graph contrastive learning to boost algorithmic efficiency. We employ multiple loss functions to prompt diverse embeddings to converge or diverge within a confined distance in the vector space, ultimately achieving a harmonious equilibrium. We conducted experiments on the proposed SE-GCL on four standard data sets (AG News, 20NG, SougouNews, and THUCNews) to verify its effectiveness in text representation learning.
• Abstract（参考訳）: テキスト表現学習は自然言語処理の基盤として重要である。 近年,グラフコントラッシブ・ラーニング (GCL) がテキスト表現学習に広く用いられている。 しかし、現在の主流グラフの対照的な学習手法は、GCLのアプリケーション効率とスコープを著しく制限するデータ拡張プロセスを導くために、ドメイン知識や面倒な計算を組み込む必要があることが多い。 さらに、多くの手法は、テキスト中のリッチな文脈意味情報を見落としている単語文書関係を構築することによってのみテキスト表現を学習する。 これらの問題に対処し、代表的テキストセマンティクスを活用するために、テキスト表現のためのイベントベースでシンプルで効果的なグラフコントラスト学習(SE-GCL)を提案する。 正確には、テキストからイベントブロックを抽出し、内部関係グラフを構築し、意味的相互接続を表現することにより、最も重要な意味情報が保存されることを保証する。 そこで我々は,イベントセマンティクスの相補的な性質と,複雑な特徴データ取得のための構造情報を活用するために,合理化された教師なしグラフコントラスト学習フレームワークを考案した。 特に、コア表現セマンティクスのためのイベントスケルトンの概念を導入し、既存のグラフコントラスト学習に見られる典型的に複雑なデータ拡張テクニックを単純化し、アルゴリズムの効率を向上する。 複数の損失関数を用いて、様々な埋め込みをベクトル空間内の制限された距離に収束または分岐させ、最終的には調和平衡を達成する。 提案したSE-GCLの4つの標準データセット(AG News, 20NG, SougouNews, THUCNews)を用いてテキスト表現学習の有効性を検証する実験を行った。

関連論文リスト

• Improving vision-language alignment with graph spiking hybrid Networks [6.707524980629404]
  本稿では,細粒度のセマンティックな特徴を生成するために,パノプティックセマンティック・セマンティック・セマンティクスの活用を必要とする包括的ビジュアルセマンティクス表現モジュールを提案する。 視覚的セマンティック情報を符号化するために,SNNとGATの相補的な利点を統合したグラフスパイキングハイブリッドネットワーク(GSHN)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T11:55:17Z)
• A Simple Graph Contrastive Learning Framework for Short Text Classification [23.36436403062214]
  短文分類のための簡易グラフコントラスト学習フレームワーク(SimSTC)を提案する。 本手法は,マルチビュー・コントラッシブ・ラーニングの利点を生かしながら,コントラスト・ビューを生成するためのデータ拡張操作を不要とする。 その単純さにもかかわらず、我々のモデルは優れた性能を達成し、様々なデータセット上の大きな言語モデルを上回っている。
  論文  参考訳（メタデータ） (2025-01-16T00:35:56Z)
• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。