論文の概要: Embracing Ambiguity: Improving Similarity-oriented Tasks with Contextual Synonym Knowledge

• arxiv url: http://arxiv.org/abs/2211.10997v1
• Date: Sun, 20 Nov 2022 15:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 19:39:54.204666
• Title: Embracing Ambiguity: Improving Similarity-oriented Tasks with Contextual Synonym Knowledge
• Title（参考訳）: あいまいさを受け入れる:文脈同期知識による類似性指向タスクの改善
• Authors: Yangning Li, Jiaoyan Chen, Yinghui Li, Tianyu Yu, Xi Chen, Hai-Tao Zheng
• Abstract要約: 文脈同義語知識は類似性指向のタスクに不可欠である。 ほとんどのプレトレーニング言語モデル(PLM)は、トレーニング前の目的に固有の制限があるため、同義的な知識を欠いている。 PICSOは、複数のドメインからPLMへの文脈的同義語知識の注入を支援するフレキシブルなフレームワークである。
• 参考スコア（独自算出の注目度）: 30.010315144903885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contextual synonym knowledge is crucial for those similarity-oriented tasks whose core challenge lies in capturing semantic similarity between entities in their contexts, such as entity linking and entity matching. However, most Pre-trained Language Models (PLMs) lack synonym knowledge due to inherent limitations of their pre-training objectives such as masked language modeling (MLM). Existing works which inject synonym knowledge into PLMs often suffer from two severe problems: (i) Neglecting the ambiguity of synonyms, and (ii) Undermining semantic understanding of original PLMs, which is caused by inconsistency between the exact semantic similarity of the synonyms and the broad conceptual relevance learned from the original corpus. To address these issues, we propose PICSO, a flexible framework that supports the injection of contextual synonym knowledge from multiple domains into PLMs via a novel entity-aware Adapter which focuses on the semantics of the entities (synonyms) in the contexts. Meanwhile, PICSO stores the synonym knowledge in additional parameters of the Adapter structure, which prevents it from corrupting the semantic understanding of the original PLM. Extensive experiments demonstrate that PICSO can dramatically outperform the original PLMs and the other knowledge and synonym injection models on four different similarity-oriented tasks. In addition, experiments on GLUE prove that PICSO also benefits general natural language understanding tasks. Codes and data will be public.
• Abstract（参考訳）: 文脈同義語知識は、エンティティリンクやエンティティマッチングなど、コンテキスト内のエンティティ間の意味的類似性を捉えることが主な課題である類似性指向タスクにとって重要である。 しかし、ほとんどの事前学習言語モデル(plm)は、マスク言語モデリング(mlm)のような事前学習対象の固有の制限のために同義語知識を欠いている。 PLMに同義の知識を注入する既存の作品は、しばしば2つの深刻な問題に悩まされる。 (i)同義語の曖昧さを無視すること、及び 2) 同義語の正確な意味的類似性と,原語コーパスから学習した広い概念的関連性との間に矛盾が生じる,原語 PLM の意味的理解を損なう。 これらの問題に対処するために,我々は,複数のドメインからplmへのコンテクスト同義語知識の注入を支援する柔軟なフレームワークpicsoを提案する。 一方、picsoはアダプタ構造の追加パラメータに同義語知識を格納しており、元のplmの意味的理解を損なうことを防いでいる。 大規模な実験により、PICSOは4つの異なる類似性指向タスクにおいて、元のPLMと他の知識および同義語注入モデルよりも劇的に優れていることが示された。 さらに、GLUEの実験により、PICSOは一般的な自然言語理解タスクにも役立つことが証明された。 コードとデータは公開されます。

関連論文リスト

• Do LLMs Really Adapt to Domains? An Ontology Learning Perspective [2.0755366440393743]
  大規模言語モデル(LLM)は、様々なアプリケーション領域において、様々な自然言語処理タスクに対して前例のない進歩を見せている。 近年の研究では、LLMが知識ベースコンプリート(KBC)やオントロジー学習(OL)などの語彙意味タスクに活用できることが示されている。 LLMは本当にドメインに適応し、構造化知識の抽出に一貫性を持ち続けるのか、それとも推論の代わりに語彙感覚のみを学ぶのか?
  論文  参考訳（メタデータ） (2024-07-29T13:29:43Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Sem4SAP: Synonymous Expression Mining From Open Knowledge Graph For Language Model Synonym-Aware Pretraining [17.68675964560931]
  多くのプレトレーニング言語モデル (PLM) は、小規模なシンセセットの制限と PLM の事前トレーニング目的のために、同義的な知識を欠いている。 オープンナレッジグラフ(Open-KG)からシンセセットをマイニングし、マイニングしたシンセセットを用いて、言語モデルに対する同義語対応事前学習を行うためのSem4SAPというフレームワークを提案する。 また,PLMに同義語知識を注入する2つの新しい,効果的な同義語事前学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T10:19:14Z)
• Imitation Learning-based Implicit Semantic-aware Communication Networks: Multi-layer Representation and Collaborative Reasoning [68.63380306259742]
  有望な可能性にもかかわらず、セマンティック通信とセマンティック・アウェア・ネットワーキングはまだ初期段階にある。 本稿では,CDCとエッジサーバの複数層を連携させる,推論に基づく暗黙的セマンティック・アウェア通信ネットワークアーキテクチャを提案する。 暗黙的セマンティクスの階層構造と個人ユーザのパーソナライズされた推論嗜好を考慮に入れたセマンティクス情報の多層表現を提案する。
  論文  参考訳（メタデータ） (2022-10-28T13:26:08Z)
• Dictionary-Assisted Supervised Contrastive Learning [0.0]
  本稿では,辞書支援型教師付きコントラスト学習(DASCL)の目的について紹介する。 共通の固定トークンは、関心の概念に関連する辞書(ies)に現れるコーパス内の任意の単語を置き換える。 DASCLとクロスエントロピーは、数ショットの学習設定と社会科学応用における分類性能指標を改善する。
  論文  参考訳（メタデータ） (2022-10-27T04:57:43Z)
• The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative [7.03497683558609]
  Construction Grammar (CxG) は、文法と意味論の関連性を強調する認知言語学のパラダイムである。 我々は、最もよく研究されている構成のうちの1つ、英語比較相関(CC)を分類し、理解する能力について調査する。 以上の結果から,PLMは3つともCCの構造を認識することができるが,その意味は用いていないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-24T13:01:24Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。