論文の概要: Unified Representation for Non-compositional and Compositional Expressions

• arxiv url: http://arxiv.org/abs/2310.19127v1
• Date: Sun, 29 Oct 2023 19:28:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 14:11:33.701364
• Title: Unified Representation for Non-compositional and Compositional Expressions
• Title（参考訳）: 非コンポジション表現と構成表現の統一表現
• Authors: Ziheng Zeng and Suma Bhat
• Abstract要約: 本稿では,BARTをベースとした言語モデルPIERを提案することで,非合成性の表現について検討する。 PIEは、その非構成性と文脈的あいまいさが、そのリテラルと慣用的な解釈によって特徴づけられる。 一方、3.12%と3.29%はPIE感覚分類の精度とシーケンス精度が向上し、また、最先端のIE表現モデルであるGIEAと比較してスパン検出の精度が向上している。
• 参考スコア（独自算出の注目度）: 11.961182919293957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate processing of non-compositional language relies on generating good representations for such expressions. In this work, we study the representation of language non-compositionality by proposing a language model, PIER, that builds on BART and can create semantically meaningful and contextually appropriate representations for English potentially idiomatic expressions (PIEs). PIEs are characterized by their non-compositionality and contextual ambiguity in their literal and idiomatic interpretations. Via intrinsic evaluation on embedding quality and extrinsic evaluation on PIE processing and NLU tasks, we show that representations generated by PIER result in 33% higher homogeneity score for embedding clustering than BART, whereas 3.12% and 3.29% gains in accuracy and sequence accuracy for PIE sense classification and span detection compared to the state-of-the-art IE representation model, GIEA. These gains are achieved without sacrificing PIER's performance on NLU tasks (+/- 1% accuracy) compared to BART.
• Abstract（参考訳）: 非合成言語の正確な処理は、そのような表現に対して良い表現を生成することに依存する。 本研究では,bartに基づく言語モデルpierを提案し,英語の慣用的表現(pie)に対して意味的に意味的かつ文脈的に適切な表現を作成できる言語モデルを提案する。 PIEは、その非構成性および文脈的曖昧さによって特徴付けられる。 パイ処理およびnluタスクの埋め込み品質および極端評価を本質的に評価した結果,pierが生成する表現は,bartよりも33%高い均質性スコアを示し,一方3.12%と3.29%はパイセンス分類とスパン検出の精度とシーケンス精度を,最先端のie表現モデルであるgieaと比較して向上した。 これらのゲインは、BARTと比較して、NLUタスク(+/-1%の精度)におけるPIERのパフォーマンスを犠牲にすることなく達成される。

関連論文リスト

• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Retrieval-based Disentangled Representation Learning with Natural Language Supervision [61.75109410513864]
  本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。 提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
  論文  参考訳（メタデータ） (2022-12-15T10:20:42Z)
• Getting BART to Ride the Idiomatic Train: Learning to Represent Idiomatic Expressions [11.584388304271027]
  非合成性によって特徴づけられる慣用的表現(IE)は、自然言語の重要な部分である。 以前の研究は、基礎となる構成的表現パラダイムから生じる文脈化された表現の欠陥を特定してきた。 我々は, 慣用文を訓練した軽量な非構成言語エキスパートとして, アダプタを用いて, BARTに慣用性を構築するための第一原理的アプローチを採っている。
  論文  参考訳（メタデータ） (2022-07-08T04:05:19Z)
• Idiomatic Expression Identification using Semantic Compatibility [8.355785779504869]
  文が慣用的表現を持っているかどうかを検知し,それを局所化するタスクについて検討する。 本稿では,これらの表現を識別するためのアテンションフロー機構を備えた多段階ニューラルアーキテクチャを提案する。 このモデルの健全な特徴は、トレーニング中に見えないイディオムを識別できることであり、競争ベースラインよりも1.4%から30.8%向上している。
  論文  参考訳（メタデータ） (2021-10-19T15:44:28Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
  我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。 係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T17:27:31Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。