論文の概要: Neural Language Modeling for Contextualized Temporal Graph Generation

• arxiv url: http://arxiv.org/abs/2010.10077v2
• Date: Mon, 12 Apr 2021 03:37:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:55:40.569432
• Title: Neural Language Modeling for Contextualized Temporal Graph Generation
• Title（参考訳）: 文脈化時間グラフ生成のためのニューラルネットワークモデリング
• Authors: Aman Madaan, Yiming Yang
• Abstract要約: 本稿では,大規模事前学習言語モデルを用いた文書のイベントレベル時間グラフの自動生成に関する最初の研究について述べる。
• 参考スコア（独自算出の注目度）: 49.21890450444187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the first study on using large-scale pre-trained language models for automated generation of an event-level temporal graph for a document. Despite the huge success of neural pre-training methods in NLP tasks, its potential for temporal reasoning over event graphs has not been sufficiently explored. Part of the reason is the difficulty in obtaining large training corpora with human-annotated events and temporal links. We address this challenge by using existing IE/NLP tools to automatically generate a large quantity (89,000) of system-produced document-graph pairs, and propose a novel formulation of the contextualized graph generation problem as a sequence-to-sequence mapping task. These strategies enable us to leverage and fine-tune pre-trained language models on the system-induced training data for the graph generation task. Our experiments show that our approach is highly effective in generating structurally and semantically valid graphs. Further, evaluation on a challenging hand-labeled, out-domain corpus shows that our method outperforms the closest existing method by a large margin on several metrics. Code and pre-trained models are available at https://github.com/madaan/temporal-graph-gen.
• Abstract（参考訳）: 本稿では,文書のイベントレベル時間グラフの自動生成のために,大規模事前学習言語モデルを用いた最初の研究を行う。 NLPタスクにおけるニューラルプレトレーニング手法が大きな成功を収めたにもかかわらず、イベントグラフに対する時間的推論の可能性は十分に検討されていない。 理由の1つは、人間が注釈付きイベントと時間的つながりを持つ大規模なトレーニングコーパスを得るのが困難である。 本稿では,既存のie/nlpツールを用いて,システム生成文書-グラフペアの多量(89,000)自動生成を行い,シーケンス-シーケンスマッピングタスクとしてコンテキスト化グラフ生成問題の新しい定式化を提案する。 これらの戦略により、システムによるグラフ生成タスクのトレーニングデータに基づいて、事前学習された言語モデルを活用および微調整することが可能となる。 実験の結果,本手法は構造的かつ意味論的に有効なグラフを生成するのに極めて有効であることがわかった。 さらに,提案手法は,提案手法が既存の手法に比較して,複数の測定値に対して大きなマージンを持つことを示す。 コードと事前学習されたモデルはhttps://github.com/madaan/temporal-graph-genで入手できる。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Dynamic and Textual Graph Generation Via Large-Scale LLM-based Agent Simulation [70.60461609393779]
  GraphAgent-Generator (GAG) は動的グラフ生成のための新しいシミュレーションベースのフレームワークである。 本フレームワークは,確立されたネットワーク科学理論において,7つのマクロレベルの構造特性を効果的に再現する。 最大10万近いノードと1000万のエッジを持つグラフの生成をサポートし、最低速度は90.4%である。
  論文  参考訳（メタデータ） (2024-10-13T12:57:08Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• GSHOT: Few-shot Generative Modeling of Labeled Graphs [44.94210194611249]
  少数ショットグラフ生成モデリングの未探索パラダイムについて紹介する。 グラフ生成モデリングのためのフレームワークであるGSHOTを開発した。 GSHOTは、セルフペースの微調整を通じて、目に見えないグラフデータセットに適応する。
  論文  参考訳（メタデータ） (2023-06-06T08:03:18Z)
• Explanation Graph Generation via Generative Pre-training over Synthetic Graphs [6.25568933262682]
  説明グラフの生成は,ユーザの入力に応じて説明グラフを作成することを目的とした重要なタスクである。 現在の研究では、ラベル付きグラフで注釈付けされた小さな下流データセット上で、テキストベースの事前学習言語モデルを微調整するのが一般的である。 本稿では,説明グラフ生成タスクのための新しい事前学習フレームワークEG3Pを提案する。
  論文  参考訳（メタデータ） (2023-06-01T13:20:22Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• TrackMPNN: A Message Passing Graph Neural Architecture for Multi-Object Tracking [8.791710193028903]
  本研究は,グラフに基づくデータ構造を用いて問題をモデル化する多目的追跡(MOT)への多くの従来のアプローチに従う。 複数のタイムステップにまたがるデータ関連問題を表す動的無方向性グラフに基づくフレームワークを作成する。 また、メモリ効率が高く、リアルタイムなオンラインアルゴリズムを作成するために対処する必要がある計算問題に対するソリューションと提案も提供します。
  論文  参考訳（メタデータ） (2021-01-11T21:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。