論文の概要: SememeLM: A Sememe Knowledge Enhanced Method for Long-tail Relation Representation

• arxiv url: http://arxiv.org/abs/2406.10297v1
• Date: Thu, 13 Jun 2024 12:42:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 01:11:41.769957
• Title: SememeLM: A Sememe Knowledge Enhanced Method for Long-tail Relation Representation
• Title（参考訳）: SememeLM:Long-tailリレーショナル表現のためのセメム知識強化手法
• Authors: Shuyi Li, Shaojuan Wu, Xiaowang Zhang, Zhiyong Feng,
• Abstract要約: 文脈を使わずに単語間の関係を識別することは困難である。 既存の言語モデル(LM)に基づくアプローチでは、LMの豊富な知識を利用して関係のセマンティックな特徴を強化する。 本稿では,長期関係の表現性を高めるために,セメム知識向上手法(SememeLM)を提案する。
• 参考スコア（独自算出の注目度）: 21.973114867079996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recognizing relations between two words is a fundamental task with the broad applications. Different from extracting relations from text, it is difficult to identify relations among words without their contexts. Especially for long-tail relations, it becomes more difficult due to inadequate semantic features. Existing approaches based on language models (LMs) utilize rich knowledge of LMs to enhance the semantic features of relations. However, they capture uncommon relations while overlooking less frequent but meaningful ones since knowledge of LMs seriously relies on trained data where often represents common relations. On the other hand, long-tail relations are often uncommon in training data. It is interesting but not trivial to use external knowledge to enrich LMs due to collecting corpus containing long-tail relationships is hardly feasible. In this paper, we propose a sememe knowledge enhanced method (SememeLM) to enhance the representation of long-tail relations, in which sememes can break the contextual constraints between wors. Firstly, we present a sememe relation graph and propose a graph encoding method. Moreover, since external knowledge base possibly consisting of massive irrelevant knowledge, the noise is introduced. We propose a consistency alignment module, which aligns the introduced knowledge with LMs, reduces the noise and integrates the knowledge into the language model. Finally, we conducted experiments on word analogy datasets, which evaluates the ability to distinguish relation representations subtle differences, including long-tail relations. Extensive experiments show that our approach outperforms some state-of-the-art methods.
• Abstract（参考訳）: 2つの単語間の関係を認識することは、幅広い応用の基本的な課題である。 テキストから関係を抽出するのと異なり、文脈を使わずに単語間の関係を識別することは困難である。 特に長尾関係では、意味的特徴が不十分なため、より困難になる。 既存の言語モデル(LM)に基づくアプローチでは、LMの豊富な知識を利用して関係のセマンティックな特徴を強化する。 しかし、LMの知識は、しばしば共通の関係を表す訓練されたデータに依存しているため、あまり頻度の低いが意味のあるものを見落としながら、一般的な関係を捉えている。 一方、長い尾関係は訓練データではまれである。 長い尾関係を含むコーパスを収集するため、LMを豊かにするために外部知識を使うのは興味深いが、容易ではない。 本稿では,セメム知識向上手法(SememeLM)を提案する。 まず、セメム関係グラフを示し、グラフ符号化法を提案する。 さらに、外部知識ベースは、おそらく膨大な無関係な知識から構成されているため、ノイズが導入される。 本稿では,導入した知識をLMと整合させ,ノイズを低減し,言語モデルに統合する整合性アライメントモジュールを提案する。 最後に,単語類似データセットについて実験を行い,長い尾関係を含む微妙な相違点を識別する能力を評価する。 大規模な実験により、我々の手法は最先端の手法よりも優れていることが示された。

関連論文リスト

• RelationVLM: Making Large Vision-Language Models Understand Visual Relations [66.70252936043688]
  本稿では,複数の画像にまたがっても動画内でも,様々なレベルの関係を解釈できる大規模視覚言語モデルであるRelationVLMを提案する。 具体的には,多段階的な関係認識学習手法とそれに対応するデータ構成戦略を考案し,意味的関係を理解する能力を備えた関係VLMを提案する。
  論文  参考訳（メタデータ） (2024-03-19T15:01:19Z)
• Comparative Analysis of Contextual Relation Extraction based on Deep Learning Models [0.0]
  バイオメディカル産業におけるドメイン知識の創出には, 効率的かつ正確なCREシステムが必要である。 深層学習技術は、複数の文からコンテキストに基づいて適切な意味関係を識別するために用いられてきた。 本稿では,関係抽出に使用される様々な深層学習モデルの解析について述べる。
  論文  参考訳（メタデータ） (2023-09-13T09:05:09Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• Document-level Relation Extraction with Relation Correlations [15.997345900917058]
  文書レベルの関係抽出は,長期問題と複数ラベル問題という,見落とされた2つの課題に直面している。 関係の共起相関を解析し,DocREタスクに初めて導入する。
  論文  参考訳（メタデータ） (2022-12-20T11:17:52Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Learning Informative Representations of Biomedical Relations with Latent Variable Models [2.4366811507669115]
  本稿では,任意に柔軟な分布を持つ潜在変数モデルを提案する。 我々のモデルは、パラメータが少なく、トレーニングがかなり速く、両方のタスクの強いベースラインと競合する結果が得られることを実証する。
  論文  参考訳（メタデータ） (2020-11-20T08:56:31Z)
• Logic-guided Semantic Representation Learning for Zero-Shot Relation Classification [31.887770824130957]
  ゼロショット関係分類のための論理誘導型意味表現学習モデルを提案する。 我々のアプローチは、暗黙的および明示的な意味表現と知識グラフの埋め込みと論理規則との接続を構築する。
  論文  参考訳（メタデータ） (2020-10-30T04:30:09Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。