論文の概要: Explanation Graph Generation via Generative Pre-training over Synthetic Graphs

• arxiv url: http://arxiv.org/abs/2306.00652v1
• Date: Thu, 1 Jun 2023 13:20:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 16:05:56.285671
• Title: Explanation Graph Generation via Generative Pre-training over Synthetic Graphs
• Title（参考訳）: 合成グラフを用いた生成事前学習による説明グラフ生成
• Authors: Han Cui, Shangzhan Li, Yu Zhang and Qi Shi
• Abstract要約: 説明グラフの生成は,ユーザの入力に応じて説明グラフを作成することを目的とした重要なタスクである。 現在の研究では、ラベル付きグラフで注釈付けされた小さな下流データセット上で、テキストベースの事前学習言語モデルを微調整するのが一般的である。 本稿では,説明グラフ生成タスクのための新しい事前学習フレームワークEG3Pを提案する。
• 参考スコア（独自算出の注目度）: 6.25568933262682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generation of explanation graphs is a significant task that aims to produce explanation graphs in response to user input, revealing the internal reasoning process. This task is challenging due to the significant discrepancy between unstructured user queries and structured explanation graphs. Current research commonly fine-tunes a text-based pre-trained language model on a small downstream dataset that is annotated with labeled graphs. However, due to the limited scale of available datasets, this approach may prove to be insufficient in bridging the gap between natural language text and structured graphs. In this paper, to alleviate the above limitations, we propose a novel pre-trained framework EG3P(for Explanation Graph Generation via Generative Pre-training over synthetic graphs) for the explanation graph generation task. Specifically, we first propose a text-to-graph generative task to pre-train the model with the goal of bridging the text-graph gap. Additionally, we propose an automatic corpus synthesis strategy for synthesizing a large scale of high-quality corpus, reducing the reliance on costly manual annotation methods. Experimental results on ExplaGraphs show the effectiveness of EG3P that our model surpasses all baseline systems with remarkable margins. Besides, further analysis demonstrates that EG3P is able to generate better explanation graphs on actual reasoning tasks such as CommonsenseQA and OpenbookQA.
• Abstract（参考訳）: 説明グラフの生成は、ユーザ入力に応じて説明グラフを作成することを目的とした重要なタスクであり、内部推論プロセスを明らかにする。 このタスクは、構造化されていないユーザクエリと構造化された説明グラフの間の大きな不一致のために難しい。 現在の研究では、ラベル付きグラフで注釈付けされた小さな下流データセット上で、テキストベースの事前学習言語モデルを微調整するのが一般的である。 しかし、利用可能なデータセットのスケールが限られているため、このアプローチは自然言語テキストと構造化グラフの間のギャップを埋めるのに不十分である可能性がある。 本稿では、上記の制約を緩和するために、説明グラフ生成タスクのための新しい事前学習フレームワークeg3p(生成事前学習による説明グラフ生成)を提案する。 具体的には,まず,テキストとグラフのギャップを橋渡しすることを目的として,モデルを事前学習するテキストからグラフへの生成タスクを提案する。 さらに,大規模な高品質コーパスを合成するための自動コーパス合成手法を提案する。 実験結果はeg3pの有効性を示し,本モデルが全ベースライン系を有意なマージンで上回ることを示した。 さらに分析によって、EG3PはCommonsenseQAやOpenbookQAといった実際の推論タスクについて、より優れた説明グラフを生成することができることが示された。

関連論文リスト

• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding and Reasoning [54.84870836443311]
  本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。 このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。 研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
  論文  参考訳（メタデータ） (2023-12-16T08:14:11Z)
• Form follows Function: Text-to-Text Conditional Graph Generation based on Functional Requirements [36.00630198983932]
  この研究は、下流タスクにおけるグラフの機能的要求の記述に条件づけられたグラフを生成するという、新しい問題設定に焦点を当てる。 テキストからテキストへ生成する問題としてこの問題を提起し、事前学習された大規模言語モデル(LLM)を微調整してグラフを生成するアプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2023-11-01T11:12:02Z)
• Let There Be Order: Rethinking Ordering in Autoregressive Graph Generation [6.422073551199993]
  条件付きグラフ生成タスクは、入力条件のセットが与えられたグラフを生成するためにモデルを訓練する。 従来の多くの研究では、ノードやエッジなどのグラフコンポーネントを漸進的に生成するために自己回帰モデルを用いていた。 グラフは通常、コンポーネント間で自然な順序付けを欠いているため、グラフをトークンの列に変換することは簡単ではない。
  論文  参考訳（メタデータ） (2023-05-24T20:52:34Z)
• Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning [84.35102534158621]
  エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。 本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。 提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
  論文  参考訳（メタデータ） (2022-04-11T00:58:27Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• Neural Language Modeling for Contextualized Temporal Graph Generation [49.21890450444187]
  本稿では,大規模事前学習言語モデルを用いた文書のイベントレベル時間グラフの自動生成に関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2020-10-20T07:08:00Z)
• Graph Information Bottleneck for Subgraph Recognition [103.37499715761784]
  本稿では,深層グラフ学習における部分グラフ認識問題に対するグラフ情報ブートネック(GIB)の枠組みを提案する。 この枠組みの下では、最大情報でありながら圧縮的な部分グラフ(IB-subgraph)を認識できる。 IB-サブグラフの特性を3つのアプリケーションシナリオで評価する。
  論文  参考訳（メタデータ） (2020-10-12T09:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。