論文の概要: Quantifying the Contextualization of Word Representations with Semantic Class Probing

• arxiv url: http://arxiv.org/abs/2004.12198v2
• Date: Sun, 11 Oct 2020 12:26:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:53:06.384035
• Title: Quantifying the Contextualization of Word Representations with Semantic Class Probing
• Title（参考訳）: 意味クラス探索による単語表現の文脈化の定量化
• Authors: Mengjie Zhao, Philipp Dufter, Yadollah Yaghoobzadeh, Hinrich Sch\"utze
• Abstract要約: 事前訓練された言語モデルは、多くのNLPタスクにおいて、新しい最先端技術を実現している。 単語のセマンティッククラスが文脈化された埋め込みから推測できる範囲を研究することにより、文脈化の量、すなわち、単語が文脈内でどのように解釈されるかの定量化を行う。
• 参考スコア（独自算出の注目度）: 8.401007663676214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models have achieved a new state of the art on many NLP tasks, but there are still many open questions about how and why they work so well. We investigate the contextualization of words in BERT. We quantify the amount of contextualization, i.e., how well words are interpreted in context, by studying the extent to which semantic classes of a word can be inferred from its contextualized embeddings. Quantifying contextualization helps in understanding and utilizing pretrained language models. We show that top layer representations achieve high accuracy inferring semantic classes; that the strongest contextualization effects occur in the lower layers; that local context is mostly sufficient for semantic class inference; and that top layer representations are more task-specific after finetuning while lower layer representations are more transferable. Finetuning uncovers task related features, but pretrained knowledge is still largely preserved.
• Abstract（参考訳）: 事前学習された言語モデルは、多くのnlpタスクで新たな最先端を実現したが、どのように機能するのか、なぜそんなにうまく機能するのかについては、まだ多くの疑問が残されている。 BERTにおける単語の文脈化について検討する。 単語のセマンティッククラスが文脈化された埋め込みから推測できる範囲を研究することにより、文脈化の量、すなわち、単語が文脈内でどのように解釈されるかの定量化を行う。 文脈化の定量化は、事前学習された言語モデルの理解と活用に役立つ。 我々は,上位層表現が意味クラスを推論する高い精度を達成すること,下位層に最も強い文脈化効果が現れること,局所的文脈が意味クラス推論にほぼ十分であること,上位層表現が微調整後のタスク固有のこと,下位層表現がより転送可能であること,等を示す。 ファインタニングはタスクに関連する特徴を明らかにするが、事前訓練された知識はほとんど保存されている。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• Probing Context Localization of Polysemous Words in Pre-trained Language Model Sub-Layers [12.610445666406898]
  プレトレーニング言語モデル(PLM)の細粒度サブレイヤ表現に符号化された文脈化の程度について検討する。 文脈化へのサブレイヤの主な貢献を識別するために、まず、最小限の異なる文対における多文単語のサブレイヤ表現を抽出する。 また,これらのサブレイヤ表現に符号化された文脈化情報の強みを実証的にローカライズする。
  論文  参考訳（メタデータ） (2024-09-21T10:42:07Z)
• Where does In-context Translation Happen in Large Language Models [18.379840329713407]
  大規模言語モデルがテキスト学習者から翻訳モデルへ移行する地域を特徴付ける。 我々は、翻訳タスクが入力表現に符号化され、文脈への注意がもはや不要な「タスク認識」ポイントの証拠を実証する。
  論文  参考訳（メタデータ） (2024-03-07T14:12:41Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection [0.0]
  本稿では,レイヤ間の中間出力にバイナリマスクを適用することにより,BERTから意味感覚を分離することを目的とする。 2つの異なる文の目的語が同じ意味を持つかどうかを判定するために、二分分類により、アンタングル埋め込みを評価する。
  論文  参考訳（メタデータ） (2023-10-08T11:07:19Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Contextual Embeddings: When Are They Worth It? [14.582968294755794]
  本研究では,従来の事前学習型埋め込みと比較して,コンテキスト埋め込みの深層化によって性能が大幅に向上する状況について検討する。 これらの単純なベースラインはどちらも,産業規模のデータに対するコンテキスト埋め込みと一致することが分かりました。 我々は、複雑な構造を含む言語、曖昧な単語の使用、訓練で見つからない単語など、文脈埋め込みが特に大きな利益をもたらすデータの性質を同定する。
  論文  参考訳（メタデータ） (2020-05-18T22:20:17Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。