論文の概要: Learning Knowledge-Enhanced Contextual Language Representations for Domain Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2311.06761v1
• Date: Sun, 12 Nov 2023 07:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:08:11.062436
• Title: Learning Knowledge-Enhanced Contextual Language Representations for Domain Natural Language Understanding
• Title（参考訳）: ドメイン自然言語理解のための知識強化文脈言語表現法
• Authors: Ruyao Xu, Taolin Zhang, Chengyu Wang, Zhongjie Duan, Cen Chen, Minghui Qiu, Dawei Cheng, Xiaofeng He, Weining Qian
• Abstract要約: 我々は,様々なclosed dOmains(KANGAROO)のための知識強化型LANGuAge表現学習フレームワークを提案する。 実験では, 各種知識認識タスクおよび一般NLPタスクに対して, フルおよび少数ショットの学習環境において, カンガロオの評価を行った。
• 参考スコア（独自算出の注目度）: 46.00400830499326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-Enhanced Pre-trained Language Models (KEPLMs) improve the performance of various downstream NLP tasks by injecting knowledge facts from large-scale Knowledge Graphs (KGs). However, existing methods for pre-training KEPLMs with relational triples are difficult to be adapted to close domains due to the lack of sufficient domain graph semantics. In this paper, we propose a Knowledge-enhanced lANGuAge Representation learning framework for various clOsed dOmains (KANGAROO) via capturing the implicit graph structure among the entities. Specifically, since the entity coverage rates of closed-domain KGs can be relatively low and may exhibit the global sparsity phenomenon for knowledge injection, we consider not only the shallow relational representations of triples but also the hyperbolic embeddings of deep hierarchical entity-class structures for effective knowledge fusion.Moreover, as two closed-domain entities under the same entity-class often have locally dense neighbor subgraphs counted by max point biconnected component, we further propose a data augmentation strategy based on contrastive learning over subgraphs to construct hard negative samples of higher quality. It makes the underlying KELPMs better distinguish the semantics of these neighboring entities to further complement the global semantic sparsity. In the experiments, we evaluate KANGAROO over various knowledge-aware and general NLP tasks in both full and few-shot learning settings, outperforming various KEPLM training paradigms performance in closed-domains significantly.
• Abstract（参考訳）: 知識強化事前学習言語モデル(KEPLM)は、大規模知識グラフ(KG)から知識事実を注入することにより、様々な下流NLPタスクの性能を向上させる。 しかし, 既存のKEPLMの事前学習手法は, 十分なドメイングラフのセマンティクスが欠如しているため, 閉領域に適応することが困難である。 本稿では,エンティティ間の暗黙のグラフ構造を捉えることにより,様々な閉じたドメイン(kangaroo)に対する知識強化型言語表現学習フレームワークを提案する。 Specifically, since the entity coverage rates of closed-domain KGs can be relatively low and may exhibit the global sparsity phenomenon for knowledge injection, we consider not only the shallow relational representations of triples but also the hyperbolic embeddings of deep hierarchical entity-class structures for effective knowledge fusion.Moreover, as two closed-domain entities under the same entity-class often have locally dense neighbor subgraphs counted by max point biconnected component, we further propose a data augmentation strategy based on contrastive learning over subgraphs to construct hard negative samples of higher quality. これにより、KELPMはこれらの隣接するエンティティのセマンティクスをよりよく区別し、グローバルなセマンティクスの疎結合をさらに補完する。 実験では,各種知識認識タスクと一般NLPタスクをフルおよび少数ショットの学習設定で評価し,クローズドドメインにおける様々なKEPLM訓練パラダイムのパフォーマンスを著しく向上させた。

関連論文リスト

• Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
  本稿では,知識認識のための大規模言語モデルを活用したCoLaKGという新しい手法を提案する。 まず、KG から各項目を中心とする部分グラフを抽出し、それらを LLM のテキスト入力に変換する。 LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
  論文  参考訳（メタデータ） (2024-10-16T04:44:34Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Optimizing Federated Graph Learning with Inherent Structural Knowledge and Dual-Densely Connected GNNs [6.185201353691423]
  Federated Graph Learning (FGL)は、クライアントがプライベートデータを公開することなく、強力なグラフニューラルネットワーク(GNN)を分散的にトレーニングすることを可能にする。 既存の手法は、グラフデータに固有の構造的知識を見落としているか、リソース要求を大幅に増加させるコストでそれをキャプチャする。 構造的知識の利用効率を最適化する新しいFGLフレームワークであるFedDenseを提案する。
  論文  参考訳（メタデータ） (2024-08-21T14:37:50Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Nearest Neighbor-Based Contrastive Learning for Hyperspectral and LiDAR Data Classification [45.026868970899514]
  本稿では,Nearest Neighbor-based Contrastive Learning Network (NNCNet)を提案する。 具体的には,近隣地域間のセマンティック関係を強化した近傍データ拡張手法を提案する。 さらに,HSIデータとLiDARデータ間の2次・高次特徴相互作用を生かしたバイリニアアテンションモジュールを設計する。
  論文  参考訳（メタデータ） (2023-01-09T13:43:54Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。