論文の概要: Getting BART to Ride the Idiomatic Train: Learning to Represent Idiomatic Expressions

• arxiv url: http://arxiv.org/abs/2207.03679v1
• Date: Fri, 8 Jul 2022 04:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 09:50:43.051047
• Title: Getting BART to Ride the Idiomatic Train: Learning to Represent Idiomatic Expressions
• Title（参考訳）: BARTによる慣用列車の乗り心地:慣用表現の表現を学ぶ
• Authors: Ziheng Zeng and Suma Bhat
• Abstract要約: 非合成性によって特徴づけられる慣用的表現(IE)は、自然言語の重要な部分である。 以前の研究は、基礎となる構成的表現パラダイムから生じる文脈化された表現の欠陥を特定してきた。 我々は, 慣用文を訓練した軽量な非構成言語エキスパートとして, アダプタを用いて, BARTに慣用性を構築するための第一原理的アプローチを採っている。
• 参考スコア（独自算出の注目度）: 11.584388304271027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Idiomatic expressions (IEs), characterized by their non-compositionality, are an important part of natural language. They have been a classical challenge to NLP, including pre-trained language models that drive today's state-of-the-art. Prior work has identified deficiencies in their contextualized representation stemming from the underlying compositional paradigm of representation. In this work, we take a first-principles approach to build idiomaticity into BART using an adapter as a lightweight non-compositional language expert trained on idiomatic sentences. The improved capability over baselines (e.g., BART) is seen via intrinsic and extrinsic methods, where idiom embeddings score 0.19 points higher in homogeneity score for embedding clustering, and up to 25% higher sequence accuracy on the idiom processing tasks of IE sense disambiguation and span detection.
• Abstract（参考訳）: 非合成性によって特徴づけられる慣用表現(IE)は、自然言語の重要な部分である。 それらは、今日の最先端を駆動する事前訓練された言語モデルを含む、NLPに対する古典的な挑戦である。 以前の研究は、基礎となる構成的表現パラダイムから生じる文脈化された表現の欠陥を特定してきた。 本研究では, 慣用文を訓練した軽量な非構成言語エキスパートとしてアダプタを用いて, BARTに慣用性を構築するための第一原理的アプローチを採る。 ベースラインよりも改善された能力(例えばBART)は、内在的および外在的手法によって見られ、イディオムの埋め込みはクラスタリングの均質性スコアにおいて0.19点高く、IE 感覚の曖昧さとスパン検出のイディオム処理タスクにおいて最大25%高いシーケンス精度を示す。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Unified Representation for Non-compositional and Compositional Expressions [11.961182919293957]
  本稿では,BARTをベースとした言語モデルPIERを提案することで,非合成性の表現について検討する。 PIEは、その非構成性と文脈的あいまいさが、そのリテラルと慣用的な解釈によって特徴づけられる。 一方、3.12%と3.29%はPIE感覚分類の精度とシーケンス精度が向上し、また、最先端のIE表現モデルであるGIEAと比較してスパン検出の精度が向上している。
  論文  参考訳（メタデータ） (2023-10-29T19:28:22Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Idiomatic Expression Identification using Semantic Compatibility [8.355785779504869]
  文が慣用的表現を持っているかどうかを検知し,それを局所化するタスクについて検討する。 本稿では,これらの表現を識別するためのアテンションフロー機構を備えた多段階ニューラルアーキテクチャを提案する。 このモデルの健全な特徴は、トレーニング中に見えないイディオムを識別できることであり、競争ベースラインよりも1.4%から30.8%向上している。
  論文  参考訳（メタデータ） (2021-10-19T15:44:28Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)
• TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding [55.16953347580948]
  グラディエントベースの敵トレーニングは、ニューラルネットワークの堅牢性向上に広く利用されている。 埋め込み空間が離散であるため、自然言語処理タスクに容易に適応することはできない。 微粒な摂動を創り出すためのトークン認識仮想アドリアリトレーニング法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T02:03:24Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。