論文の概要: InducT-GCN: Inductive Graph Convolutional Networks for Text Classification

• arxiv url: http://arxiv.org/abs/2206.00265v1
• Date: Wed, 1 Jun 2022 06:47:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 01:31:44.852524
• Title: InducT-GCN: Inductive Graph Convolutional Networks for Text Classification
• Title（参考訳）: InducT-GCN:テキスト分類のためのインダクティブグラフ畳み込みネットワーク
• Authors: Kunze Wang, Soyeon Caren Han, Josiah Poon
• Abstract要約: 本稿では,新しいインダクティブグラフベースのテキスト分類フレームワークInducT-GCNを紹介する。 試験用文書を必要とするトランスダクティブモデルと比較して,トレーニング用文書の統計情報のみに基づくグラフを構築した。 InducT-GCNは、本質的にトランスダクティブであるか、事前訓練された追加リソースのいずれかである最先端の手法より優れています。
• 参考スコア（独自算出の注目度）: 5.448684866061923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text classification aims to assign labels to textual units by making use of global information. Recent studies have applied graph neural network (GNN) to capture the global word co-occurrence in a corpus. Existing approaches require that all the nodes (training and test) in a graph are present during training, which are transductive and do not naturally generalise to unseen nodes. To make those models inductive, they use extra resources, like pretrained word embedding. However, high-quality resource is not always available and hard to train. Under the extreme settings with no extra resource and limited amount of training set, can we still learn an inductive graph-based text classification model? In this paper, we introduce a novel inductive graph-based text classification framework, InducT-GCN (InducTive Graph Convolutional Networks for Text classification). Compared to transductive models that require test documents in training, we construct a graph based on the statistics of training documents only and represent document vectors with a weighted sum of word vectors. We then conduct one-directional GCN propagation during testing. Across five text classification benchmarks, our InducT-GCN outperformed state-of-the-art methods that are either transductive in nature or pre-trained additional resources. We also conducted scalability testing by gradually increasing the data size and revealed that our InducT-GCN can reduce the time and space complexity. The code is available on: https://github.com/usydnlp/InductTGCN.
• Abstract（参考訳）: テキスト分類は、グローバル情報を利用してラベルをテキスト単位に割り当てることを目的としている。 近年、グラフニューラルネットワーク(GNN)を用いて、コーパス内のグローバルな単語の共起を捉えている。 既存のアプローチでは、トレーニング中にグラフ内のすべてのノード(トレーニングとテスト)が存在し、これはトランスダクティブであり、自然に見えないノードに一般化されない。 これらのモデルを誘導するために、事前訓練された単語埋め込みのような余分なリソースを使用する。 しかしながら、高品質なリソースが常に利用可能で、トレーニングが難しいとは限らない。 余分なリソースや限られたトレーニングセットのない極端な設定の下では、インダクティブグラフベースのテキスト分類モデルを学ぶことはできますか? 本稿では,新しいインダクティブグラフベースのテキスト分類フレームワークであるInducT-GCN(InducTive Graph Convolutional Networks for Text Classification)を紹介する。 学習中のテスト文書を必要とするトランスダクティブモデルと比較して、トレーニング文書の統計値に基づいてグラフを構築し、単語ベクトルの重み付き和で文書ベクトルを表現する。 次に、テスト中に一方向GCN伝搬を行う。 5つのテキスト分類ベンチマークで、私たちのinduct-gcnは、自然にトランスダクティブであるか、あるいは事前トレーニングされた追加リソースである最先端のメソッドよりも優れています。 また,データサイズを徐々に増加させ,拡張性テストを実施し,InducT-GCNが時間と空間の複雑さを低減できることを明らかにした。 コードはhttps://github.com/usydnlp/inducttgcn。

関連論文リスト

• Classifying Nodes in Graphs without GNNs [50.311528896010785]
  本稿では,完全GNNフリーなノード分類手法を提案する。 本手法は, 滑らかさ制約, 擬似ラベル反復, 近傍ラベルヒストグラムの3つの主要成分からなる。
  論文  参考訳（メタデータ） (2024-02-08T18:59:30Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Word Grounded Graph Convolutional Network [24.6338889954789]
  グラフ畳み込みネットワーク(GCN)は、テキスト分類などの様々なタスクにおけるテキスト表現の学習において、高いパフォーマンスを示している。 本稿では,文書非依存グラフを用いて,文書グラフをワードグラフに変換し,データサンプルとGCNモデルを分離することを提案する。 提案したWord-level Graph(WGraph)は、コーパスで一般的に使われている単語共起による単語表現を暗黙的に学習するだけでなく、さらにグローバルなセマンティック依存も含んでいる。
  論文  参考訳（メタデータ） (2023-05-10T19:56:55Z)
• Graph-level Neural Networks: Current Progress and Future Directions [61.08696673768116]
  グラフレベルのニューラルネットワーク(GLNN、ディープラーニングベースのグラフレベルの学習法)は、高次元データのモデリングにおいて優れているため、魅力的である。 本稿では,深層ニューラルネットワーク,グラフニューラルネットワーク,グラフプール上でのGLNNを網羅する系統分類法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T06:16:55Z)
• Understanding Graph Convolutional Networks for Text Classification [9.495731689143827]
  本稿では,グラフにおけるノードとエッジの埋め込みの役割と,テキスト分類におけるGCN学習手法を包括的に分析する。 我々の分析はこの種の最初のものであり、各グラフノード/エッジ構築メカニズムの重要性についての有用な洞察を提供する。
  論文  参考訳（メタデータ） (2022-03-30T05:14:31Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Label Propagation across Graphs: Node Classification using Graph Neural Tangent Kernels [12.445026956430826]
  グラフニューラルネットワーク(GNN)はノード分類タスクにおいて優れたパフォーマンスを実現している。 我々の研究は、ラベル付きグラフのセットがトレーニング用に利用可能であり、ラベルなしのターゲットグラフは完全に分離されている、困難な帰納的設定について検討している。 テストグラフとトレーニンググラフが類似した分布から来るという暗黙の仮定の下で、我々のゴールは、観測されていない接続構造に一般化するラベリング関数を開発することである。
  論文  参考訳（メタデータ） (2021-10-07T19:42:35Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。