Fugu-MT 論文翻訳(概要): Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks?

論文の概要: Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks?

arxiv url: http://arxiv.org/abs/2305.14578v2
Date: Mon, 22 Jan 2024 14:13:51 GMT
ステータス: 処理完了
システム内更新日: 2024-01-23 21:51:40.877446
Title: Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks?
Title（参考訳）: ドットの接続:グラフニューラルネットワークを用いたテキスト分類に最適なグラフベースのテキスト表現は何か?
Authors: Margarita Bugue\~no, Gerard de Melo
Abstract要約: 本研究は,テキスト分類のためのグラフ表現手法を幅広く研究する。各種GNNアーキテクチャとセットアップを用いて,グラフ構築方式を比較した。 2つのTransformerベースの大規模言語モデルもこの研究を補完するために含まれている。
参考スコア（独自算出の注目度）: 25.898812694174772
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Given the success of Graph Neural Networks (GNNs) for structure-aware machine learning, many studies have explored their use for text classification, but mostly in specific domains with limited data characteristics. Moreover, some strategies prior to GNNs relied on graph mining and classical machine learning, making it difficult to assess their effectiveness in modern settings. This work extensively investigates graph representation methods for text classification, identifying practical implications and open challenges. We compare different graph construction schemes using a variety of GNN architectures and setups across five datasets, encompassing short and long documents as well as unbalanced scenarios in diverse domains. Two Transformer-based large language models are also included to complement the study. The results show that i) although the effectiveness of graphs depends on the textual input features and domain, simple graph constructions perform better the longer the documents are, ii) graph representations are especially beneficial for longer documents, outperforming Transformer-based models, iii) graph methods are particularly efficient at solving the task.
Abstract（参考訳）: 構造認識機械学習のためのグラフニューラルネットワーク(gnns)の成功を考えると、多くの研究がテキスト分類に使われているが、データ特性に制限のある特定の領域で使われている。さらに、GNN以前のいくつかの戦略はグラフマイニングと古典的な機械学習に依存しており、現代の環境での有効性を評価することは困難であった。本研究は,テキスト分類のためのグラフ表現手法を広範に検討し,実践的意味とオープン課題を同定する。我々は、様々なgnnアーキテクチャと5つのデータセットにまたがるセットアップを使用して、異なるグラフ構築スキームを比較し、短い文書と長い文書を包含し、様々なドメインにおける不均衡なシナリオを包含する。トランスフォーマーベースの2つの大型言語モデルも研究を補完するために含まれている。その結果は一グラフの有効性は、テキスト入力の特徴及びドメインに依存してはいるが、簡単なグラフ構築は、文書が長くなるほど、より良く機能する。二グラフ表現は、より長い文書、トランスフォーマーベースのモデルにおいて特に有益である。三グラフ手法が特にタスクの解決に有効であること。

関連論文リスト

Graph Neural Networks on Discriminative Graphs of Words [19.817473565906777]
本研究では,単語グラフニューラルネットワーク(DGoW-GNN)によるテキストの識別手法を提案する。本稿では,GNNとシーケンスモデルを組み合わせたグラフベースのテキスト分類の新しいモデルを提案する。提案手法を7つのベンチマークデータセットで評価し,いくつかの最先端ベースラインモデルにより性能が向上していることを確認した。
論文参考訳（メタデータ） (2024-10-27T15:14:06Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文参考訳（メタデータ） (2024-02-21T09:06:31Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
論文参考訳（メタデータ） (2023-06-05T04:46:44Z)
State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文参考訳（メタデータ） (2023-01-14T09:15:49Z)
A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-16T22:46:33Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文参考訳（メタデータ） (2020-10-25T22:39:31Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)
Which way? Direction-Aware Attributed Graph Embedding [2.429993132301275]
グラフ埋め込みアルゴリズムは連続ベクトル空間内のグラフを効率的に表現するために用いられる。しばしば見落とされがちな側面の1つは、グラフが向き付けられたかどうかである。本研究は,DIAGRAMという,テキストに富んだ方向認識アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-01-30T13:08:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。