論文の概要: Learning Multiplex Embeddings on Text-rich Networks with One Text
Encoder
- arxiv url: http://arxiv.org/abs/2310.06684v1
- Date: Tue, 10 Oct 2023 14:59:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 14:57:45.994107
- Title: Learning Multiplex Embeddings on Text-rich Networks with One Text
Encoder
- Title(参考訳): テキストエンコーダを用いたテキストリッチネットワーク上での多重化埋め込み学習
- Authors: Bowen Jin, Wentao Zhang, Yu Zhang, Yu Meng, Han Zhao, Jiawei Han
- Abstract要約: 本稿では,TExt-Rich ネットワーク上での多重埋め込み学習のための新しいフレームワーク METERN を提案する。
既存の手法とは対照的に、METERNは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。
学術分野と電子商取引分野の5つのネットワークにおいて,9つの下流タスクについて実験を行った。
- 参考スコア(独自算出の注目度): 58.536112184212534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world scenarios, texts in a network are often linked by multiple
semantic relations (e.g., papers in an academic network are referenced by other
publications, written by the same author, or published in the same venue),
where text documents and their relations form a multiplex text-rich network.
Mainstream text representation learning methods use pretrained language models
(PLMs) to generate one embedding for each text unit, expecting that all types
of relations between texts can be captured by these single-view embeddings.
However, this presumption does not hold particularly in multiplex text-rich
networks. Along another line of work, multiplex graph neural networks (GNNs)
directly initialize node attributes as a feature vector for node representation
learning, but they cannot fully capture the semantics of the nodes' associated
texts. To bridge these gaps, we propose METERN, a new framework for learning
Multiplex Embeddings on TExt-Rich Networks. In contrast to existing methods,
METERN uses one text encoder to model the shared knowledge across relations and
leverages a small number of parameters per relation to derive relation-specific
representations. This allows the encoder to effectively capture the multiplex
structures in the network while also preserving parameter efficiency. We
conduct experiments on nine downstream tasks in five networks from both
academic and e-commerce domains, where METERN outperforms baselines
significantly and consistently. The code is available at
https://github.com/PeterGriffinJin/METERN-submit.
- Abstract(参考訳): 実世界のシナリオでは、ネットワーク内のテキストは、しばしば複数の意味関係(例えば、学術ネットワーク内の論文は、他の出版物によって参照され、同じ著者によって書かれたり、同じ会場で公開されたりする)によってリンクされる。
主流のテキスト表現学習手法では、事前学習された言語モデル(plm)を使用して、各テキストユニットに1つの埋め込みを生成する。
しかし、この仮定は、特に多重テキストリッチネットワークでは当てはまらない。
別の作業として、multiplex graph neural networks(gnns)はノード属性をノード表現学習の機能ベクトルとして直接初期化するが、ノードの関連テキストの意味を完全に捉えることはできない。
これらのギャップを埋めるため,TExt-Rich ネットワーク上での多重埋め込み学習のための新しいフレームワーク METERN を提案する。
既存の手法とは対照的に、METERNは1つのテキストエンコーダを使用して、関係をまたいだ共有知識をモデル化し、関係性固有の表現を導出するために、関係ごとに少数のパラメータを利用する。
これにより、エンコーダはパラメータ効率を保ちながら、ネットワーク内の多重構造を効果的にキャプチャできる。
学術分野とeコマース分野の5つのネットワークにおいて、9つの下流タスクの実験を行い、METERNはベースラインを著しく、一貫して上回ります。
コードはhttps://github.com/PeterGriffinJin/METERN-submitで入手できる。
関連論文リスト
- Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文 参考訳(メタデータ) (2023-10-19T08:41:21Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and
Text Embeddings [14.223535075658626]
ConGraTは、親グラフ内のテキストとノードの別々の表現を共同で学習する一般的な自己教師型手法である。
提案手法では,グラフノードとテキストに対して2つの別個のエンコーダを使用して,それらの表現を共通の潜在空間内で整列するように訓練する。
論文 参考訳(メタデータ) (2023-05-23T17:53:30Z) - Patton: Language Model Pretraining on Text-Rich Networks [33.914163727649466]
我々はテキストリッチネットワークのためのTexT-Rich NetwOrkフレームワークPattonのPretrAiningを提案する。
Pattonには2つの事前トレーニング戦略が含まれている。
学術分野と電子商取引分野の5つのデータセットで、下流4つのタスクを実験する。
論文 参考訳(メタデータ) (2023-05-20T19:17:10Z) - TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。
まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。
次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
論文 参考訳(メタデータ) (2022-06-15T02:33:10Z) - Minimally-Supervised Structure-Rich Text Categorization via Learning on
Text-Rich Networks [61.23408995934415]
テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。
具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。
実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
論文 参考訳(メタデータ) (2021-02-23T04:14:34Z) - Adversarial Context Aware Network Embeddings for Textual Networks [8.680676599607123]
既存のアプローチでは、接続ノードの埋め込みを同様のものにすることで、テキストとネットワーク構造の埋め込みを学習する。
これは、これらのアプローチが埋め込みを学ぶためにエッジ情報を必要としており、目に見えないノードの埋め込みを学ぶことができないことを意味している。
本稿では,モダリティ融合と未確認ノードの埋め込みを学習する能力の両方を実現するアプローチを提案する。
論文 参考訳(メタデータ) (2020-11-05T05:20:01Z) - Pairwise Learning for Name Disambiguation in Large-Scale Heterogeneous
Academic Networks [81.00481125272098]
本稿では,MA-PairRNN(Multi-view Attention-based Pairwise Recurrent Neural Network)を提案する。
MA-PairRNNは、不均一グラフ埋め込み学習とペアワイズ類似学習をフレームワークに統合する。
実世界の2つのデータセットの結果から、我々のフレームワークは名前の曖昧さに対するパフォーマンスを著しく一貫した改善をしていることがわかる。
論文 参考訳(メタデータ) (2020-08-30T06:08:20Z) - Graph Structured Network for Image-Text Matching [127.68148793548116]
微粒化対応学習のためのグラフ構造化マッチングネットワークを提案する。
GSMNは、明示的にオブジェクト、関係、属性を構造化されたフレーズとしてモデル化する。
実験により、GSMNはベンチマークで最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2020-04-01T08:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。