論文の概要: Assessing Phrasal Representation and Composition in Transformers
- arxiv url: http://arxiv.org/abs/2010.03763v2
- Date: Wed, 14 Oct 2020 02:25:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 12:07:47.875487
- Title: Assessing Phrasal Representation and Composition in Transformers
- Title（参考訳）: 変圧器の表情表現と構成の評価
- Authors: Lang Yu and Allyson Ettinger
- Abstract要約: ディープトランスモデルはNLPタスクのパフォーマンスを新たな限界に押し上げた。
本稿では,最先端の事前学習型トランスにおけるフレーズ表現の系統的解析を行う。
これらのモデルにおける句表現は、単語の内容に大きく依存しており、ニュアンスな構成の証拠はほとんどない。
- 参考スコア（独自算出の注目度）: 13.460125148455143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep transformer models have pushed performance on NLP tasks to new limits,
suggesting sophisticated treatment of complex linguistic inputs, such as
phrases. However, we have limited understanding of how these models handle
representation of phrases, and whether this reflects sophisticated composition
of phrase meaning like that done by humans. In this paper, we present
systematic analysis of phrasal representations in state-of-the-art pre-trained
transformers. We use tests leveraging human judgments of phrase similarity and
meaning shift, and compare results before and after control of word overlap, to
tease apart lexical effects versus composition effects. We find that phrase
representation in these models relies heavily on word content, with little
evidence of nuanced composition. We also identify variations in phrase
representation quality across models, layers, and representation types, and
make corresponding recommendations for usage of representations from these
models.
- Abstract（参考訳）: ディープトランスモデルはNLPタスクのパフォーマンスを新たな限界に押し上げ、フレーズのような複雑な言語入力の洗練された処理を推奨している。
しかし、これらのモデルが句の表現をどう扱うか、そしてそれが人間が行うような句の意味の洗練された構成を反映しているかどうかについての理解は限られている。
本稿では,最先端予習変圧器におけるフラシアル表現の系統的解析について述べる。
語句類似性と意味変化の人的判断を活用し,単語重複制御前後の結果を比較し,語彙効果と構成効果を区別する。
これらのモデルにおける句表現は単語の内容に大きく依存しており、ニュアンスな構成の証拠はほとんどない。
また, モデル, 層, 表現型にまたがる表現品質の変動を同定し, これらのモデルから表現の使用を推奨する。
関連論文リスト
- Intervention Lens: from Representation Surgery to String Counterfactuals [106.98481791980367]
言語モデル(LM)の表現空間をターゲットとした介入は、モデル行動に影響を与える効果的な手段として現れてきた。
表現反事実を文字列反事実に変換する方法を提案する。
結果として生じるカウンターファクトは、データ拡張による分類のバイアスを軽減するために使用することができる。
論文 参考訳（メタデータ） (2024-02-17T18:12:02Z) - Semantics of Multiword Expressions in Transformer-Based Models: A Survey [8.372465442144048]
MWE(Multiword Expression)は複数の単語からなり、構成度の変動を示す。
トランスモデルを用いたMWE処理の詳細な調査を行った。
その結果,MWEのセマンティクスは表面パターンや記憶情報に依存して不整合であることがわかった。
論文 参考訳（メタデータ） (2024-01-27T11:51:11Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Word-Level Explanations for Analyzing Bias in Text-to-Image Models [72.71184730702086]
Text-to-image(T2I)モデルは、人種や性別に基づいて少数派を過小評価する画像を生成することができる。
本稿では,入力プロンプトのどの単語が生成画像のバイアスの原因となるかを検討する。
論文 参考訳（メタデータ） (2023-06-03T21:39:07Z) - Explaining How Transformers Use Context to Build Predictions [0.1749935196721634]
言語生成モデルは、以前の文脈に基づいて単語を生成する。
レイヤ全体にわたって、事前の言葉がモデルの判断にどのような影響を及ぼすかは、いまだに不明である。
本稿では,トランスフォーマーの説明可能性の最近の進歩を活用し,言語生成のためのモデル解析手法を提案する。
論文 参考訳（メタデータ） (2023-05-21T18:29:10Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - On the Interplay Between Fine-tuning and Composition in Transformers [7.513100214864645]
本研究では,微調整が文脈的埋め込み能力に及ぼす影響について検討する。
具体的には、語彙重なりの大きい逆パラフレーズ分類タスクと感情分類タスクを微調整する。
微調整はこれらの表現における構成性の恩恵をほとんど得られないが、感情に関するトレーニングは特定のモデルに対して小さな局所的な利益をもたらす。
論文 参考訳（メタデータ） (2021-05-31T01:49:56Z) - Syntactic Perturbations Reveal Representational Correlates of
Hierarchical Phrase Structure in Pretrained Language Models [22.43510769150502]
文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。
このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
論文 参考訳（メタデータ） (2021-04-15T16:30:31Z) - Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。
各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。
12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文 参考訳（メタデータ） (2020-12-30T09:11:50Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - Analysing Lexical Semantic Change with Contextualised Word
Representations [7.071298726856781]
本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。
我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
論文 参考訳（メタデータ） (2020-04-29T12:18:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。