論文の概要: GRAPHCACHE: Message Passing as Caching for Sentence-Level Relation Extraction

• arxiv url: http://arxiv.org/abs/2205.03786v1
• Date: Sun, 8 May 2022 05:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-11 07:20:42.665814
• Title: GRAPHCACHE: Message Passing as Caching for Sentence-Level Relation Extraction
• Title（参考訳）: GraphCACHE: 文レベル関係抽出のためのキャッシングとしてのメッセージパッシング
• Authors: Yiwei Wang, Muhao Chen, Wenxuan Zhou, Yujun Cai, Yuxuan Liang, Bryan Hooi
• Abstract要約: GRAPHCACHEは文間で特徴を伝達し、文レベルの関係抽出のためのより良い表現を学習するモジュールである。 グローバルプロパティ機能は、REのデータセットレベルの事前知識として機能し、文レベルの特徴を補完します。 GRAPHCACHEはREに大きな効果をもたらし、データセット内のすべての文を渡る効率的なメッセージパッシングを可能にする。
• 参考スコア（独自算出の注目度）: 50.60428731334438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity types and textual context are essential properties for sentence-level relation extraction (RE). Existing work only encodes these properties within individual instances, which limits the performance of RE given the insufficient features in a single sentence. In contrast, we model these properties from the whole dataset and use the dataset-level information to enrich the semantics of every instance. We propose the GRAPHCACHE (Graph Neural Network as Caching) module, that propagates the features across sentences to learn better representations for RE. GRAPHCACHE aggregates the features from sentences in the whole dataset to learn global representations of properties, and use them to augment the local features within individual sentences. The global property features act as dataset-level prior knowledge for RE, and a complement to the sentence-level features. Inspired by the classical caching technique in computer systems, we develop GRAPHCACHE to update the property representations in an online manner. Overall, GRAPHCACHE yields significant effectiveness gains on RE and enables efficient message passing across all sentences in the dataset.
• Abstract（参考訳）: エンティティタイプとテキストコンテキストは文レベルの関係抽出(RE)に不可欠な性質である。 既存の作業では、個々のインスタンス内でのみこれらのプロパティをエンコードする。 対照的に、データセット全体からこれらのプロパティをモデル化し、データセットレベルの情報を使用して、すべてのインスタンスのセマンティクスを強化します。 本稿では,REの表現性を向上させるために,文間の特徴を伝達する GraphCACHE (Graph Neural Network as Caching) モジュールを提案する。 GraphCACHEはデータセット全体の文から特徴を集約し、プロパティのグローバルな表現を学習し、個々の文内の局所的な特徴を増やすためにそれらを使用する。 グローバルプロパティ機能は、REのデータセットレベルの事前知識として機能し、文レベルの特徴を補完します。 コンピュータシステムにおける古典的なキャッシュ技術に触発されて,プロパティ表現をオンラインに更新する GraphCACHE を開発した。 全体として、 GraphCACHEはREに大きな効果をもたらし、データセット内のすべての文を渡る効率的なメッセージパッシングを可能にする。

関連論文リスト

• Topology-aware Reinforcement Feature Space Reconstruction for Graph Data [22.5530178427691]
  優れた機能領域の再構築は、データのAI能力の向上、モデルの一般化の改善、下流MLモデルの可用性の向上に不可欠である。 我々は、トポロジ対応強化学習を用いて、グラフデータの特徴空間再構成を自動化し、最適化する。 提案手法では,コア部分グラフ抽出とグラフニューラルネットワーク(GNN)の併用により,トポロジ的特徴を符号化し,計算複雑性を低減する。
  論文  参考訳（メタデータ） (2024-11-08T18:01:05Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning [6.128446481571702]
  下流ノードとグラフレベルの分類タスクでは,教師なし/自己教師付きグラフ表現学習が重要である。 インスタンス適応型グローバル・アウェア・エゴ・セマンティック・ディスクリプタを提案する。 ディスクリプタは、ローカルグラフの畳み込みに、新しい隣接ノードとして明示的に統合することができる。
  論文  参考訳（メタデータ） (2022-05-31T12:31:33Z)
• Learnable Structural Semantic Readout for Graph Classification [23.78861906423389]
  位置レベルでのノード表現を要約するために,構造的セマンティック・リードアウト(SSRead)を提案する。 SSReadは、ノードと構造プロトタイプ間のセマンティックアライメントを使用することで、構造的に意味のある位置を特定することを目的としている。 実験の結果,SSReadはGNN分類器の分類性能と解釈可能性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-22T20:44:27Z)
• Self-supervised Graph-level Representation Learning with Local and Global Structure [71.45196938842608]
  自己教師付き全グラフ表現学習のためのローカル・インスタンスとグローバル・セマンティック・ラーニング(GraphLoG)という統合フレームワークを提案する。 GraphLoGは、局所的な類似点の保存に加えて、グローバルなセマンティッククラスタをキャプチャする階層的なプロトタイプも導入している。 モデル学習のための効率的なオンライン予測最大化(EM)アルゴリズムがさらに開発された。
  論文  参考訳（メタデータ） (2021-06-08T05:25:38Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。