論文の概要: Improving Graph-Based Text Representations with Character and Word Level
N-grams
- arxiv url: http://arxiv.org/abs/2210.05999v1
- Date: Wed, 12 Oct 2022 08:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 14:01:36.354816
- Title: Improving Graph-Based Text Representations with Character and Word Level
N-grams
- Title(参考訳): 文字と単語レベルN-gramによるグラフベーステキスト表現の改善
- Authors: Wenzhe Li and Nikolaos Aletras
- Abstract要約: 単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。
また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
- 参考スコア(独自算出の注目度): 30.699644290131044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph-based text representation focuses on how text documents are represented
as graphs for exploiting dependency information between tokens and documents
within a corpus. Despite the increasing interest in graph representation
learning, there is limited research in exploring new ways for graph-based text
representation, which is important in downstream natural language processing
tasks. In this paper, we first propose a new heterogeneous word-character text
graph that combines word and character n-gram nodes together with document
nodes, allowing us to better learn dependencies among these entities.
Additionally, we propose two new graph-based neural models, WCTextGCN and
WCTextGAT, for modeling our proposed text graph. Extensive experiments in text
classification and automatic text summarization benchmarks demonstrate that our
proposed models consistently outperform competitive baselines and
state-of-the-art graph-based models.
- Abstract(参考訳): グラフベースのテキスト表現は、コーパス内のトークンとドキュメント間の依存性情報を利用するグラフとしてテキストドキュメントをどのように表現するかに焦点を当てる。
グラフ表現学習への関心は高まっているが、下流の自然言語処理タスクで重要なグラフベースのテキスト表現の新しい方法を検討する研究は限られている。
本稿では、まず、単語と文字のn-gramノードと文書ノードを結合し、それらのエンティティ間の依存関係をよりよく学習する新しい不均質な単語-文字間テキストグラフを提案する。
さらに,提案したテキストグラフをモデル化するためのグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
テキスト分類と自動要約ベンチマークによる広範囲な実験により,提案手法は競争ベースラインと最先端グラフベースモデルとを一貫して上回っていることが示された。
関連論文リスト
- When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳(メタデータ) (2023-12-16T08:14:11Z) - Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。
また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
論文 参考訳(メタデータ) (2023-11-16T12:45:41Z) - Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文 参考訳(メタデータ) (2023-10-19T08:41:21Z) - Word Grounded Graph Convolutional Network [24.6338889954789]
グラフ畳み込みネットワーク(GCN)は、テキスト分類などの様々なタスクにおけるテキスト表現の学習において、高いパフォーマンスを示している。
本稿では,文書非依存グラフを用いて,文書グラフをワードグラフに変換し,データサンプルとGCNモデルを分離することを提案する。
提案したWord-level Graph(WGraph)は、コーパスで一般的に使われている単語共起による単語表現を暗黙的に学習するだけでなく、さらにグローバルなセマンティック依存も含んでいる。
論文 参考訳(メタデータ) (2023-05-10T19:56:55Z) - Hierarchical Heterogeneous Graph Representation Learning for Short Text
Classification [60.233529926965836]
短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。
まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。
そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
論文 参考訳(メタデータ) (2021-10-30T05:33:05Z) - JointGT: Graph-Text Joint Representation Learning for Text Generation
from Knowledge Graphs [44.06715423776722]
本論文では,ジョイントGTと呼ばれるグラフテキスト共同表現学習モデルを提案する。
エンコーディング中、各トランスフォーマー層にプラグインされた構造対応セマンティックアグリゲーションモジュールを考案した。
種々のKG-to-textデータセット上で,JointGTが新たな最先端性能を得ることを示す。
論文 参考訳(メタデータ) (2021-06-19T14:10:10Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳(メタデータ) (2020-12-31T18:17:57Z) - Inducing Alignment Structure with Gated Graph Attention Networks for
Sentence Matching [24.02847802702168]
本稿では,文マッチングのためのグラフベースの手法を提案する。
文ペアをグラフとして表現し、慎重に設計する。
次に,文マッチングのために構築したグラフを符号化するために,新しいゲートグラフアテンションネットワークを用いる。
論文 参考訳(メタデータ) (2020-10-15T11:25:54Z) - Graph Edit Distance Reward: Learning to Edit Scene Graph [69.39048809061714]
本研究では,これまで検討されていないユーザ指示に従ってシーングラフを編集する手法を提案する。
具体的には,テキストから得られるセマンティクスとしてシーングラフの編集を学習するために,グラフ編集距離再帰(Graph Edit Distance Reward)を提案する。
テキスト編集画像検索の文脈において,CSSおよびCRIRデータセットにおける本手法の有効性を検証する。
論文 参考訳(メタデータ) (2020-08-15T04:52:16Z) - Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。
我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。
生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文 参考訳(メタデータ) (2020-06-21T14:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。