論文の概要: Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs in Language Pretraining

• arxiv url: http://arxiv.org/abs/2312.00874v1
• Date: Fri, 1 Dec 2023 19:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:13:25.376291
• Title: Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs in Language Pretraining
• Title（参考訳）: Hi-ArG: 言語の事前学習における階層的Argumentation Graphの統合を探る
• Authors: Jingcong Liang, Rong Ye, Meng Han, Qi Zhang, Ruofei Lai, Xinyu Zhang, Zhao Cao, Xuanjing Huang, Zhongyu Wei
• Abstract要約: 議論を整理する新しい構造である階層的議論グラフ(Hi-ArG)を提案する。 また,テキストグラフマルチモーダルモデルであるGreaseArGや,グラフ情報を付加した新たな事前学習フレームワークなど,Hi-ArGを活用するための2つのアプローチを導入する。
• 参考スコア（独自算出の注目度）: 62.069374456021016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The knowledge graph is a structure to store and represent knowledge, and recent studies have discussed its capability to assist language models for various applications. Some variations of knowledge graphs aim to record arguments and their relations for computational argumentation tasks. However, many must simplify semantic types to fit specific schemas, thus losing flexibility and expression ability. In this paper, we propose the Hierarchical Argumentation Graph (Hi-ArG), a new structure to organize arguments. We also introduce two approaches to exploit Hi-ArG, including a text-graph multi-modal model GreaseArG and a new pre-training framework augmented with graph information. Experiments on two argumentation tasks have shown that after further pre-training and fine-tuning, GreaseArG supersedes same-scale language models on these tasks, while incorporating graph information during further pre-training can also improve the performance of vanilla language models. Code for this paper is available at https://github.com/ljcleo/Hi-ArG .
• Abstract（参考訳）: 知識グラフは知識を保存し表現するための構造であり、近年では様々なアプリケーションのための言語モデルを支援する能力について論じられている。 知識グラフのいくつかのバリエーションは、議論とその計算的議論タスクの関係を記録することを目的としている。 しかし、多くの人は特定のスキーマに適合するようにセマンティックタイプを単純化し、柔軟性と表現能力を失う必要がある。 本稿では,引数を整理する新しい構造である階層的引数グラフ(hi-arg)を提案する。 また,テキストグラフマルチモーダルモデルであるGreaseArGや,グラフ情報を付加した新たな事前学習フレームワークなど,Hi-ArGを活用するための2つのアプローチを導入する。 2つの議論タスクの実験により、さらなる事前学習と微調整の後、greaseargはこれらのタスクで同規模の言語モデルに取って代わると同時に、さらなる事前学習中にグラフ情報を取り入れることで、バニラ言語モデルのパフォーマンスも向上することが示された。 この論文のコードはhttps://github.com/ljcleo/Hi-ArG で公開されている。

関連論文リスト

• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding and Reasoning [54.84870836443311]
  本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。 このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。 研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
  論文  参考訳（メタデータ） (2023-12-16T08:14:11Z)
• GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs [22.282756544376493]
  テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。 GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。 提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
  論文  参考訳（メタデータ） (2023-10-23T17:18:35Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
  従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。 このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。 知識グラフ強化対話生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T13:21:00Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation [3.593955557310285]
  KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。 ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-04-13T23:53:37Z)
• Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning [84.35102534158621]
  エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。 本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。 提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
  論文  参考訳（メタデータ） (2022-04-11T00:58:27Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。