論文の概要: SimCLAD: A Simple Framework for Contrastive Learning of Acronym Disambiguation

• arxiv url: http://arxiv.org/abs/2111.14306v1
• Date: Mon, 29 Nov 2021 02:39:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 14:53:14.619009
• Title: SimCLAD: A Simple Framework for Contrastive Learning of Acronym Disambiguation
• Title（参考訳）: simclad: acronym disambiguationのコントラスト学習のためのシンプルなフレームワーク
• Authors: Bin Li, Fei Xia, Yixuan Weng, Xiusheng Huang, Bin Sun, Shutao Li
• Abstract要約: そこで我々は,頭字語意味をよりよく理解するために,頭字語不明瞭化のコントラスト学習法(SimCLAD)を提案する。 英語の科学領域の頭字語的曖昧さに関する結果は、提案手法が他の競争的最先端(SOTA)手法よりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 26.896811663334162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Acronym disambiguation means finding the correct meaning of an ambiguous acronym in a given sentence from the dictionary, which is one of the key points for scientific document understanding (SDU@AAAI-22). Recently, many attempts have tried to solve this problem via fine-tuning the pre-trained masked language models (MLMs) in order to obtain a better acronym representation. However, the acronym meaning is varied under different contexts, whose corresponded sentence representation is the anisotropic distribution occupied with a narrow subset of the entire representation space. Such representations from pre-trained MLMs are not ideal for the acronym disambiguation from the given dictionary. In this paper, we propose a Simple framework for Contrastive Learning of Acronym Disambiguation (SimCLAD) method to better understand the acronym meanings. Specifically, we design a novel continual contrastive pre-training method that enhances the pre-trained model's generalization ability by learning the isotropic and discriminative distribution of the acronym sentence representations. The results on the acronym disambiguation of the scientific domain in English show that the proposed method outperforms all other competitive state-of-the-art (SOTA) methods.
• Abstract（参考訳）: acronym disambiguationとは、辞書から与えられた文中の曖昧な頭文字の正しい意味を見つけることであり、科学的文書理解の要点の一つである(sdu@aaai-22)。 近年,事前学習されたマスク言語モデル(mlms)を微調整して,頭字語表現の改善を図る試みが数多く行われている。 しかし、頭字語の意味は、対応する文表現が表現空間全体の狭い部分集合が占める異方性分布である異なる文脈下で変化する。 事前訓練されたMLMからのこのような表現は、与えられた辞書の頭字語的曖昧さには理想的ではない。 本稿では,頭字語意味をよりよく理解するために,頭字語不明瞭化のコントラスト学習のための簡易フレームワーク(SimCLAD)を提案する。 具体的には,頭字語表現の等方的・判別的分布を学習することにより,事前学習モデルの一般化能力を高める新しい連続的コントラスト前訓練法を設計する。 英語の科学領域の頭字語的曖昧さに関する結果は、提案手法が他の競争的最先端(SOTA)手法よりも優れていることを示している。

関連論文リスト

• On Translating Technical Terminology: A Translation Workflow for Machine-Translated Acronyms [3.053989095162017]
  技術的な用語、特に頭字語を翻訳する、重要なステップが見逃されていることが分かりました。 Google Translateのような最先端の機械翻訳システムは、頭字語を扱う際に誤用されることがある。 SL-TL (FR-EN) 翻訳ワークフローに追加のステップを提案し、まず、公共消費のための新しい頭字語コーパスを提供し、次に検索ベースのしきい値付けアルゴリズムを実験する。
  論文  参考訳（メタデータ） (2024-09-26T15:18:34Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Decoupling Pseudo Label Disambiguation and Representation Learning for Generalized Intent Discovery [24.45800271294178]
  主な課題は、擬似ラベルの曖昧さと表現学習である。 本稿では、擬似ラベルの曖昧さと表現学習を分離するための分離されたプロトタイプ学習フレームワーク(DPL)を提案する。 3つのベンチマークデータセットの実験と分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-28T12:01:34Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• PSG: Prompt-based Sequence Generation for Acronym Extraction [26.896811663334162]
  頭字語抽出タスクのためのPrompt-based Sequence Generation (PSG) 手法を提案する。 具体的には、抽出した頭字語テキストを自動回帰でプロンプトするテンプレートを設計する。 生成した回答の位置を抽出する位置抽出アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-11-29T02:14:38Z)
• BERT-based Acronym Disambiguation with Multiple Training Strategies [8.82012912690778]
  Acronym disambiguation (AD) タスクは、与えられた文中の曖昧な頭字語を正しく拡張することを目的としている。 BERTと動的負のサンプル選択を含むいくつかのトレーニング戦略を組み込んだバイナリ分類モデルを提案する。 SciAD実験は,提案手法の有効性を示し,SDU@AAAI-21共有課題2:Acronym Disambiguationのスコアが1位となった。
  論文  参考訳（メタデータ） (2021-02-25T05:40:21Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• Primer AI's Systems for Acronym Identification and Disambiguation [0.0]
  頭字語識別と曖昧化のための新しい手法を提案する。 提案手法に比べて性能が大幅に向上した。 両システムは、SDU@AAAI-21共有タスクリーダーボード上で競合的に動作します。
  論文  参考訳（メタデータ） (2020-12-14T23:59:05Z)
• What Does This Acronym Mean? Introducing a New Dataset for Acronym Identification and Disambiguation [74.42107665213909]
  頭字語は、文書中の長い文を伝達し、文章の主文の1つとして機能する短い形式の句である。 その重要性から、頭字語と対応する語句(AI)を識別し、それぞれの頭字語(AD)の正しい意味を見つけることは、テキスト理解に不可欠である。 このタスクの最近の進歩にもかかわらず、既存のデータセットにはいくつかの制限があり、さらなる改善を妨げる。
  論文  参考訳（メタデータ） (2020-10-28T00:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。