論文の概要: Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification using Graph Neural Networks?

• arxiv url: http://arxiv.org/abs/2305.14578v1
• Date: Tue, 23 May 2023 23:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 21:18:17.095492
• Title: Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification using Graph Neural Networks?
• Title（参考訳）: ドットの接続:グラフニューラルネットワークを用いたテキスト分類に最適なグラフベースのテキスト表現は何か?
• Authors: Margarita Bugue\~no, Gerard de Melo
• Abstract要約: 本研究は,テキスト分類のためのグラフベーステキスト表現手法の実証的研究である。 いくつかのGNNアーキテクチャとBERTを5つのデータセットで比較し、短いドキュメントと長いドキュメントを含む。 その結果, (i) グラフ性能はテキスト入力機能やドメインと高い関係があること, (i) 優れた性能にもかかわらず, BERT は短いテキストを扱う場合の収束が困難であること, (iii) グラフ手法は特に長い文書にとって有益であることがわかった。
• 参考スコア（独自算出の注目度）: 37.86739837901986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the success of Graph Neural Networks (GNNs) for structure-aware machine learning, numerous studies have explored their application to text classification, as an alternative to traditional feature representation models. However, most studies considered just a specific domain and validated on data with particular characteristics. This work presents an extensive empirical investigation of graph-based text representation methods proposed for text classification, identifying practical implications and open challenges in the field. We compare several GNN architectures as well as BERT across five datasets, encompassing short and also long documents. The results show that: i) graph performance is highly related to the textual input features and domain, ii) despite its outstanding performance, BERT has difficulties converging when dealing with short texts, iii) graph methods are particularly beneficial for longer documents.
• Abstract（参考訳）: 構造認識機械学習におけるグラフニューラルネットワーク(GNN)の成功を踏まえ、従来の特徴表現モデルに代わるテキスト分類への応用について多くの研究がなされている。 しかし、ほとんどの研究は特定の領域のみを考慮し、特定の特性を持つデータに基づいて検証した。 本研究は,テキスト分類に提案されているグラフに基づくテキスト表現手法の広範な実証的考察を行い,その分野における実践的意義と課題を明らかにする。 いくつかのGNNアーキテクチャとBERTを5つのデータセットで比較し、短いドキュメントと長いドキュメントを含む。 結果はこう示しています 一 グラフの性能がテキスト入力の特徴及び領域に強く関係していること。 二 BERTは、その卓越した性能にもかかわらず、短文を扱う際、収束が困難である。 三 グラフ手法は、特に長い文書に有用である。

関連論文リスト

• Graph Neural Networks on Discriminative Graphs of Words [19.817473565906777]
  本研究では,単語グラフニューラルネットワーク(DGoW-GNN)によるテキストの識別手法を提案する。 本稿では,GNNとシーケンスモデルを組み合わせたグラフベースのテキスト分類の新しいモデルを提案する。 提案手法を7つのベンチマークデータセットで評価し,いくつかの最先端ベースラインモデルにより性能が向上していることを確認した。
  論文  参考訳（メタデータ） (2024-10-27T15:14:06Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
  大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
  論文  参考訳（メタデータ） (2023-06-05T04:46:44Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Which way? Direction-Aware Attributed Graph Embedding [2.429993132301275]
  グラフ埋め込みアルゴリズムは連続ベクトル空間内のグラフを効率的に表現するために用いられる。 しばしば見落とされがちな側面の1つは、グラフが向き付けられたかどうかである。 本研究は,DIAGRAMという,テキストに富んだ方向認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-30T13:08:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。