論文の概要: Semantics of Multiword Expressions in Transformer-Based Models: A Survey

• arxiv url: http://arxiv.org/abs/2401.15393v1
• Date: Sat, 27 Jan 2024 11:51:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 18:25:44.424736
• Title: Semantics of Multiword Expressions in Transformer-Based Models: A Survey
• Title（参考訳）: 変圧器モデルにおける多語表現のセマンティクス:調査
• Authors: Filip Mileti\'c, Sabine Schulte im Walde
• Abstract要約: MWE(Multiword Expression)は複数の単語からなり、構成度の変動を示す。 トランスモデルを用いたMWE処理の詳細な調査を行った。 その結果,MWEのセマンティクスは表面パターンや記憶情報に依存して不整合であることがわかった。
• 参考スコア（独自算出の注目度）: 8.372465442144048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiword expressions (MWEs) are composed of multiple words and exhibit variable degrees of compositionality. As such, their meanings are notoriously difficult to model, and it is unclear to what extent this issue affects transformer architectures. Addressing this gap, we provide the first in-depth survey of MWE processing with transformer models. We overall find that they capture MWE semantics inconsistently, as shown by reliance on surface patterns and memorized information. MWE meaning is also strongly localized, predominantly in early layers of the architecture. Representations benefit from specific linguistic properties, such as lower semantic idiosyncrasy and ambiguity of target expressions. Our findings overall question the ability of transformer models to robustly capture fine-grained semantics. Furthermore, we highlight the need for more directly comparable evaluation setups.
• Abstract（参考訳）: MWE(Multiword Expression)は複数の単語からなり、構成度の変動を示す。 したがって、それらの意味をモデル化することは非常に困難であり、この問題がトランスフォーマーアーキテクチャにどの程度影響するかは不明である。 このギャップに対処するため,変換器モデルを用いたMWE処理の詳細な調査を行った。 その結果,MWEのセマンティクスは表面パターンや記憶情報に依存して不整合であることがわかった。 MWEの意味は、主にアーキテクチャの初期層に強く局所化されている。 表現は、意味的慣用性や対象表現のあいまいさなど、特定の言語特性の恩恵を受ける。 以上より,トランスフォーマーモデルが細粒度のセマンティクスをロバストに捉える能力に疑問を呈する。 さらに,より直接的に比較可能な評価設定の必要性を強調する。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Transformer-based Detection of Multiword Expressions in Flower and Plant Names [9.281156301926769]
  MWE (Multiword Expression) は、個々の単語から派生していない意味を集合的に表す単語の列である。 本稿では,花名や植物名中のMWEを検出する作業において,最先端のニューラルトランスフォーマーについて検討する。
  論文  参考訳（メタデータ） (2022-09-16T15:59:55Z)
• BERT(s) to Detect Multiword Expressions [9.710464466895521]
  MWE(Multiword Expression)は、全体の意味がその部分の意味から派生していない単語群である。 本稿では,MWE検出作業における最先端のニューラルトランスフォーマーについて検討する。
  論文  参考訳（メタデータ） (2022-08-16T16:32:23Z)
• Learning Multiscale Transformer Models for Sequence Generation [33.73729074207944]
  単語境界情報と句レベルの事前知識に基づいて,スケール間の関係を確立することで,マルチスケールトランスフォーマーモデルを構築する。 特に、いくつかのテストセットにおいて、効率を犠牲にすることなく、強いベースラインに対して一貫したパフォーマンス向上を実現した。
  論文  参考訳（メタデータ） (2022-06-19T07:28:54Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change [58.87961226278285]
  本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。 SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
  論文  参考訳（メタデータ） (2020-12-02T23:56:34Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Assessing Phrasal Representation and Composition in Transformers [13.460125148455143]
  ディープトランスモデルはNLPタスクのパフォーマンスを新たな限界に押し上げた。 本稿では,最先端の事前学習型トランスにおけるフレーズ表現の系統的解析を行う。 これらのモデルにおける句表現は、単語の内容に大きく依存しており、ニュアンスな構成の証拠はほとんどない。
  論文  参考訳（メタデータ） (2020-10-08T04:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。