論文の概要: Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification using Graph Neural Networks?

• arxiv url: http://arxiv.org/abs/2305.14578v1
• Date: Tue, 23 May 2023 23:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 21:18:17.095492
• Title: Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification using Graph Neural Networks?
• Title（参考訳）: ドットの接続:グラフニューラルネットワークを用いたテキスト分類に最適なグラフベースのテキスト表現は何か?
• Authors: Margarita Bugue\~no, Gerard de Melo
• Abstract要約: 本研究は,テキスト分類のためのグラフベーステキスト表現手法の実証的研究である。 いくつかのGNNアーキテクチャとBERTを5つのデータセットで比較し、短いドキュメントと長いドキュメントを含む。 その結果, (i) グラフ性能はテキスト入力機能やドメインと高い関係があること, (i) 優れた性能にもかかわらず, BERT は短いテキストを扱う場合の収束が困難であること, (iii) グラフ手法は特に長い文書にとって有益であることがわかった。
• 参考スコア（独自算出の注目度）: 37.86739837901986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the success of Graph Neural Networks (GNNs) for structure-aware machine learning, numerous studies have explored their application to text classification, as an alternative to traditional feature representation models. However, most studies considered just a specific domain and validated on data with particular characteristics. This work presents an extensive empirical investigation of graph-based text representation methods proposed for text classification, identifying practical implications and open challenges in the field. We compare several GNN architectures as well as BERT across five datasets, encompassing short and also long documents. The results show that: i) graph performance is highly related to the textual input features and domain, ii) despite its outstanding performance, BERT has difficulties converging when dealing with short texts, iii) graph methods are particularly beneficial for longer documents.
• Abstract（参考訳）: 構造認識機械学習におけるグラフニューラルネットワーク(GNN)の成功を踏まえ、従来の特徴表現モデルに代わるテキスト分類への応用について多くの研究がなされている。 しかし、ほとんどの研究は特定の領域のみを考慮し、特定の特性を持つデータに基づいて検証した。 本研究は,テキスト分類に提案されているグラフに基づくテキスト表現手法の広範な実証的考察を行い,その分野における実践的意義と課題を明らかにする。 いくつかのGNNアーキテクチャとBERTを5つのデータセットで比較し、短いドキュメントと長いドキュメントを含む。 結果はこう示しています 一 グラフの性能がテキスト入力の特徴及び領域に強く関係していること。 二 BERTは、その卓越した性能にもかかわらず、短文を扱う際、収束が困難である。 三 グラフ手法は、特に長い文書に有用である。

関連論文リスト

• Unified Graph Networks (UGN): A Deep Neural Framework for Solving Graph Problems [0.5699788926464752]
  グラフ問題を解くために,emphUnified emphGraph emphNetwork (UGN) という新しいフレームワークを提案する。 UGNはグラフ畳み込みニューラルネットワーク(GCN)と2次元畳み込みニューラルネットワーク(Conv2D)に基づいている
  論文  参考訳（メタデータ） (2025-02-11T12:03:18Z)
• Query-Aware Learnable Graph Pooling Tokens as Prompt for Large Language Models [3.9489815622117566]
  Learnable Graph Pooling Token (LGPT)は、フレキシブルで効率的なグラフ表現を可能にする。 提案手法は,大規模言語モデルを訓練することなく,GraphQAベンチマークで4.13%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-29T10:35:41Z)
• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Can LLMs Convert Graphs to Text-Attributed Graphs? [35.53046810556242]
  既存のグラフをテキスト対応グラフに変換するために,Topology-Aware Node description Synthesis (TANS)を提案する。 我々はTANSをテキストリッチ,テキスト制限,テキストフリーのグラフで評価し,その適用性を示した。
  論文  参考訳（メタデータ） (2024-12-13T13:32:59Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。