論文の概要: GNN-CNN: An Efficient Hybrid Model of Convolutional and Graph Neural Networks for Text Representation

• arxiv url: http://arxiv.org/abs/2507.07414v1
• Date: Thu, 10 Jul 2025 04:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.26906
• Title: GNN-CNN: An Efficient Hybrid Model of Convolutional and Graph Neural Networks for Text Representation
• Title（参考訳）: GNN-CNN:テキスト表現のための畳み込みニューラルネットワークとグラフニューラルネットワークの効率的なハイブリッドモデル
• Authors: Fardin Rastakhiz,
• Abstract要約: 本研究では,グラフニューラルネットワーク(GNN)と畳み込みニューラルネットワーク(CNN)を組み合わせた新しいモデルアーキテクチャを提案する。 モデルは、パディングやトランケーションを必要とせず、文字レベルの入力のコンパクトバッチを処理する。 CNNを使って局所的なコンテキストパターンをキャプチャし、格子ベースのグラフ構造を通じて局所的な受容場を拡張し、文書レベルの情報を集約するために小さな世界グラフを使用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Time, cost, and energy efficiency are critical considerations in Deep-Learning (DL), particularly when processing long texts. Transformers, which represent the current state of the art, exhibit quadratic computational complexity relative to input length, making them inefficient for extended documents. This study introduces a novel model architecture that combines Graph Neural Networks (GNNs) and Convolutional Neural Networks (CNNs), integrated with a real-time, end-to-end graph generation mechanism. The model processes compact batches of character-level inputs without requiring padding or truncation. To enhance performance while maintaining high speed and efficiency, the model incorporates information from Large Language Models (LLMs), such as token embeddings and sentiment polarities, through efficient dictionary lookups. It captures local contextual patterns using CNNs, expands local receptive fields via lattice-based graph structures, and employs small-world graphs to aggregate document-level information. The generated graphs exhibit structural properties indicative of meaningful semantic organization, with an average clustering coefficient of approximately 0.45 and an average shortest path length ranging between 4 and 5. The model is evaluated across multiple text classification tasks, including sentiment analysis and news-categorization, and is compared against state-of-the-art models. Experimental results confirm the proposed model's efficiency and competitive performance.
• Abstract（参考訳）: 時間、コスト、エネルギー効率は、特に長文処理において、Deep-Learning(DL)において重要な考慮事項である。 現在の最先端を表す変換器は、入力長に対して2次計算の複雑さを示し、拡張ドキュメントでは非効率である。 本研究では,グラフニューラルネットワーク(GNN)と畳み込みニューラルネットワーク(CNN)を組み合わせた新しいモデルアーキテクチャを提案する。 モデルは、パディングやトランケーションを必要とせず、文字レベルの入力のコンパクトバッチを処理する。 高速かつ効率を保ちながら性能を向上させるため,トークン埋め込みや感情極性といった大規模言語モデル (LLM) からの情報を効率的な辞書検索を通じて組み込む。 CNNを使って局所的なコンテキストパターンをキャプチャし、格子ベースのグラフ構造を通じて局所的な受容場を拡張し、文書レベルの情報を集約するために小さな世界グラフを使用する。 生成したグラフは意味的な意味的構造を示す構造的特性を示し,平均クラスタリング係数は約0.45であり,平均最短経路長は4～5である。 このモデルは、感情分析やニュース分類を含む複数のテキスト分類タスクで評価され、最先端のモデルと比較される。 実験により,提案モデルの有効性と競争性能を確認した。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
  本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。 提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
  論文  参考訳（メタデータ） (2024-11-23T05:31:25Z)
• Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
  完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。 従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。 VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
  論文  参考訳（メタデータ） (2024-10-02T12:07:47Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs [1.1756822700775666]
  入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。 UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
  論文  参考訳（メタデータ） (2023-06-06T16:24:27Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。