論文の概要: Learning Knowledge-Enhanced Contextual Language Representations for
Domain Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2311.06761v1
- Date: Sun, 12 Nov 2023 07:37:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 17:08:11.062436
- Title: Learning Knowledge-Enhanced Contextual Language Representations for
Domain Natural Language Understanding
- Title(参考訳): ドメイン自然言語理解のための知識強化文脈言語表現法
- Authors: Ruyao Xu, Taolin Zhang, Chengyu Wang, Zhongjie Duan, Cen Chen, Minghui
Qiu, Dawei Cheng, Xiaofeng He, Weining Qian
- Abstract要約: 我々は,様々なclosed dOmains(KANGAROO)のための知識強化型LANGuAge表現学習フレームワークを提案する。
実験では, 各種知識認識タスクおよび一般NLPタスクに対して, フルおよび少数ショットの学習環境において, カンガロオの評価を行った。
- 参考スコア(独自算出の注目度): 46.00400830499326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge-Enhanced Pre-trained Language Models (KEPLMs) improve the
performance of various downstream NLP tasks by injecting knowledge facts from
large-scale Knowledge Graphs (KGs). However, existing methods for pre-training
KEPLMs with relational triples are difficult to be adapted to close domains due
to the lack of sufficient domain graph semantics. In this paper, we propose a
Knowledge-enhanced lANGuAge Representation learning framework for various
clOsed dOmains (KANGAROO) via capturing the implicit graph structure among the
entities. Specifically, since the entity coverage rates of closed-domain KGs
can be relatively low and may exhibit the global sparsity phenomenon for
knowledge injection, we consider not only the shallow relational
representations of triples but also the hyperbolic embeddings of deep
hierarchical entity-class structures for effective knowledge fusion.Moreover,
as two closed-domain entities under the same entity-class often have locally
dense neighbor subgraphs counted by max point biconnected component, we further
propose a data augmentation strategy based on contrastive learning over
subgraphs to construct hard negative samples of higher quality. It makes the
underlying KELPMs better distinguish the semantics of these neighboring
entities to further complement the global semantic sparsity. In the
experiments, we evaluate KANGAROO over various knowledge-aware and general NLP
tasks in both full and few-shot learning settings, outperforming various KEPLM
training paradigms performance in closed-domains significantly.
- Abstract(参考訳): 知識強化事前学習言語モデル(KEPLM)は、大規模知識グラフ(KG)から知識事実を注入することにより、様々な下流NLPタスクの性能を向上させる。
しかし, 既存のKEPLMの事前学習手法は, 十分なドメイングラフのセマンティクスが欠如しているため, 閉領域に適応することが困難である。
本稿では,エンティティ間の暗黙のグラフ構造を捉えることにより,様々な閉じたドメイン(kangaroo)に対する知識強化型言語表現学習フレームワークを提案する。
Specifically, since the entity coverage rates of closed-domain KGs can be relatively low and may exhibit the global sparsity phenomenon for knowledge injection, we consider not only the shallow relational representations of triples but also the hyperbolic embeddings of deep hierarchical entity-class structures for effective knowledge fusion.Moreover, as two closed-domain entities under the same entity-class often have locally dense neighbor subgraphs counted by max point biconnected component, we further propose a data augmentation strategy based on contrastive learning over subgraphs to construct hard negative samples of higher quality.
これにより、KELPMはこれらの隣接するエンティティのセマンティクスをよりよく区別し、グローバルなセマンティクスの疎結合をさらに補完する。
実験では,各種知識認識タスクと一般NLPタスクをフルおよび少数ショットの学習設定で評価し,クローズドドメインにおける様々なKEPLM訓練パラダイムのパフォーマンスを著しく向上させた。
関連論文リスト
- Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph
Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。
我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文 参考訳(メタデータ) (2023-06-14T13:07:48Z) - Nearest Neighbor-Based Contrastive Learning for Hyperspectral and LiDAR
Data Classification [45.026868970899514]
本稿では,Nearest Neighbor-based Contrastive Learning Network (NNCNet)を提案する。
具体的には,近隣地域間のセマンティック関係を強化した近傍データ拡張手法を提案する。
さらに,HSIデータとLiDARデータ間の2次・高次特徴相互作用を生かしたバイリニアアテンションモジュールを設計する。
論文 参考訳(メタデータ) (2023-01-09T13:43:54Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2022-09-19T02:41:02Z) - VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure
Knowledge on Sparse Knowledge Graph Completion [14.537509860565706]
本稿では,テキストから抽出した知識と構造化メッセージから抽出した知識を統一化するための,スパース知識グラフ上のプラグイン・アンド・プレイ・フレームワーク VEM2L を提案する。
具体的には、モデルによって得られた知識を2つの非重複部分に分割する。
また、モデルの一般化能力を融合させるために、変分EMアルゴリズムによって証明された新しい融合戦略を提案する。
論文 参考訳(メタデータ) (2022-07-04T15:50:21Z) - HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain
Language Model Compression [53.90578309960526]
大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。
階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
論文 参考訳(メタデータ) (2021-10-16T11:23:02Z) - KELM: Knowledge Enhanced Pre-Trained Language Representations with
Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。
我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文 参考訳(メタデータ) (2021-09-09T12:39:17Z) - Decentralized Knowledge Graph Representation Learning [33.108623075044534]
分散知識グラフ(KG)表現学習手法について述べる。
decentRLは、隣人の埋め込みからのみ、各エンティティをエンコードする。
実験により、提案手法は、エンティティアライメントタスクにおける多くの最先端モデルよりも優れた性能を示し、エンティティ予測タスクにおける競合性能を達成した。
論文 参考訳(メタデータ) (2020-10-16T02:31:22Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳(メタデータ) (2020-09-19T09:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。