論文の概要: A Simple Graph Contrastive Learning Framework for Short Text Classification

• arxiv url: http://arxiv.org/abs/2501.09219v1
• Date: Thu, 16 Jan 2025 00:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:10:44.802301
• Title: A Simple Graph Contrastive Learning Framework for Short Text Classification
• Title（参考訳）: 短いテキスト分類のための簡単なグラフコントラスト学習フレームワーク
• Authors: Yonghao Liu, Fausto Giunchiglia, Lan Huang, Ximing Li, Xiaoyue Feng, Renchu Guan,
• Abstract要約: 短文分類のための簡易グラフコントラスト学習フレームワーク(SimSTC)を提案する。 本手法は,マルチビュー・コントラッシブ・ラーニングの利点を生かしながら,コントラスト・ビューを生成するためのデータ拡張操作を不要とする。 その単純さにもかかわらず、我々のモデルは優れた性能を達成し、様々なデータセット上の大きな言語モデルを上回っている。
• 参考スコア（独自算出の注目度）: 23.36436403062214
• License:
• Abstract: Short text classification has gained significant attention in the information age due to its prevalence and real-world applications. Recent advancements in graph learning combined with contrastive learning have shown promising results in addressing the challenges of semantic sparsity and limited labeled data in short text classification. However, existing models have certain limitations. They rely on explicit data augmentation techniques to generate contrastive views, resulting in semantic corruption and noise. Additionally, these models only focus on learning the intrinsic consistency between the generated views, neglecting valuable discriminative information from other potential views. To address these issues, we propose a Simple graph contrastive learning framework for Short Text Classification (SimSTC). Our approach involves performing graph learning on multiple text-related component graphs to obtain multi-view text embeddings. Subsequently, we directly apply contrastive learning on these embeddings. Notably, our method eliminates the need for data augmentation operations to generate contrastive views while still leveraging the benefits of multi-view contrastive learning. Despite its simplicity, our model achieves outstanding performance, surpassing large language models on various datasets.
• Abstract（参考訳）: 短文分類は、その普及と実世界の応用により、情報時代において大きな注目を集めている。 グラフ学習とコントラスト学習の併用による最近の進歩は,短文分類における意味空間と限定ラベル付きデータの課題に対処する上で,有望な結果を示している。 しかし、既存のモデルには一定の制限がある。 これらは、対照的なビューを生成するために明示的なデータ拡張技術に依存しており、セマンティックな腐敗とノイズをもたらす。 さらに、これらのモデルは生成されたビュー間の本質的な一貫性を学習することのみに集中し、他の潜在的なビューからの貴重な識別情報を無視する。 これらの問題に対処するために,ショートテキスト分類(SimSTC)のための簡易グラフコントラスト学習フレームワークを提案する。 提案手法では,複数テキスト関連コンポーネントグラフ上でグラフ学習を行い,多視点テキスト埋め込みを実現する。 その後、これらの埋め込みにコントラスト学習を直接適用する。 特に,マルチビュー・コントラッシブ・ラーニングの利点を生かしながら,コントラスト・ビューを生成するためのデータ拡張操作は不要である。 その単純さにもかかわらず、我々のモデルは優れた性能を達成し、様々なデータセット上の大きな言語モデルを上回っている。

関連論文リスト

• Boosting Short Text Classification with Multi-Source Information Exploration and Dual-Level Contrastive Learning [12.377363857246602]
  短文分類のためのMI-DELIGHTという新しいモデルを提案する。 まず、スパーシリティの問題を軽減するために、マルチソース情報探索を行う。 次に,短いテキストの表現を学習するために,グラフ学習アプローチを採用する。
  論文  参考訳（メタデータ） (2025-01-16T00:26:15Z)
• SE-GCL: An Event-Based Simple and Effective Graph Contrastive Learning for Text Representation [23.60337935010744]
  テキスト表現のためのイベントベース,シンプル,効果的なグラフコントラスト学習(SE-GCL)を提案する。 正確には、テキストからイベントブロックを抽出し、意味的相互接続を表す内部関係グラフを構築する。 特に、コア表現セマンティクスのためのイベントスケルトンの概念を導入し、典型的には複雑なデータ拡張テクニックを単純化する。
  論文  参考訳（メタデータ） (2024-12-16T10:53:24Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Cross-view Graph Contrastive Representation Learning on Partially Aligned Multi-view Data [52.491074276133325]
  マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。 本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。 複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2022-11-08T09:19:32Z)
• Adversarial Graph Contrastive Learning with Information Regularization [51.14695794459399]
  コントラスト学習はグラフ表現学習において有効な方法である。 グラフ上のデータ拡張は、はるかに直感的ではなく、高品質のコントラスト的なサンプルを提供するのがずっと難しい。 逆グラフ比較学習(Adversarial Graph Contrastive Learning, ARIEL)を提案する。 さまざまな実世界のデータセット上でのノード分類タスクにおいて、現在のグラフのコントラスト学習方法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-02-14T05:54:48Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• InfoGCL: Information-Aware Graph Contrastive Learning [26.683911257080304]
  コントラスト学習過程において,グラフ情報がどのように変換され,伝達されるかを検討する。 本稿では,InfoGCL と呼ばれる情報認識型グラフコントラスト学習フレームワークを提案する。 我々は,最近のグラフコントラスト学習手法をフレームワークによって統一できることを初めて示す。
  論文  参考訳（メタデータ） (2021-10-28T21:10:39Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。