Fugu-MT 論文翻訳(概要): The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations

論文の概要: The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations

arxiv url: http://arxiv.org/abs/2402.14616v1
Date: Thu, 22 Feb 2024 15:04:24 GMT
ステータス: 処理完了
システム内更新日: 2024-02-23 14:56:25.776453
Title: The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Title（参考訳）: 文脈化単語表現における単語分割が意味内容に及ぼす影響
Authors: Aina Gar\'i Soler, Matthieu Labeau and Chlo\'e Clavel
Abstract要約: 分割される単語の表現の質は、しばしば、必ずしも、既知の単語の埋め込みの質よりも悪いとは限らない。分析の結果, 単語の表現の質は, 単語の埋め込みよりも必ずしも悪くはないことが明らかとなった。
参考スコア（独自算出の注目度）: 3.4668147567693453
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: When deriving contextualized word representations from language models, a decision needs to be made on how to obtain one for out-of-vocabulary (OOV) words that are segmented into subwords. What is the best way to represent these words with a single vector, and are these representations of worse quality than those of in-vocabulary words? We carry out an intrinsic evaluation of embeddings from different models on semantic similarity tasks involving OOV words. Our analysis reveals, among other interesting findings, that the quality of representations of words that are split is often, but not always, worse than that of the embeddings of known words. Their similarity values, however, must be interpreted with caution.
Abstract（参考訳）: 文脈化された単語表現を言語モデルから導出する場合、サブワードに区分された語彙外 (oov) の単語の獲得方法を決定する必要がある。これらの単語を1つのベクトルで表現するのに最適な方法は何か。我々は,oov単語を含む意味的類似性タスクにおいて,異なるモデルからの埋め込みを内在的に評価する。分析の結果、他の興味深い発見の中で、分割された単語の表現の質は、しばしば、しかし必ずしも、既知の単語の埋め込みよりも悪いものではないことが判明した。しかし、それらの類似性値は慎重に解釈する必要がある。

関連論文リスト

Investigating Idiomaticity in Word Representations [9.208145117062339]
我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
論文参考訳（メタデータ） (2024-11-04T21:05:01Z)
Unsupervised Mapping of Arguments of Deverbal Nouns to Their Corresponding Verbal Labels [52.940886615390106]
デバーバル名詞は英語の文章でよく使われる動詞で、出来事や行動やその議論を記述している。名前付けされた構成の引数を扱うために存在する解決策は意味論的アノテーションに基づいている。本稿では,より統語的アプローチを導入し,デバーバル名詞の議論を対応する動詞構成にマッピングする。
論文参考訳（メタデータ） (2023-06-24T10:07:01Z)
Neighboring Words Affect Human Interpretation of Saliency Explanations [65.29015910991261]
単語レベルのサリエンシの説明は、しばしばテキストベースのモデルで特徴属性を伝えるために使われる。近年の研究では、単語の長さなどの表面的要因が、コミュニケーションされたサリエンシスコアの人間の解釈を歪めてしまうことが報告されている。本研究では,単語の近傍にある単語のマーキングが,その単語の重要性に対する説明者の認識にどのように影響するかを検討する。
論文参考訳（メタデータ） (2023-05-04T09:50:25Z)
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
論文参考訳（メタデータ） (2022-08-20T12:27:25Z)
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection [46.97185212695267]
本稿では,この基本戦略に従って単語表現を学習する手法を提案する。我々は、文脈を符号化するワードベクトルの袋ではなく、文脈化された言語モデル(CLM)を利用する。この単純な戦略は、単語埋め込みや既存のCLMベースの戦略よりも意味的特性をより予測し、高品質な単語ベクトルに繋がることを示す。
論文参考訳（メタデータ） (2021-06-15T08:02:42Z)
Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
論文参考訳（メタデータ） (2021-04-20T17:56:24Z)
Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文参考訳（メタデータ） (2020-12-30T09:11:50Z)
Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
論文参考訳（メタデータ） (2020-10-05T17:19:10Z)
Morphological Skip-Gram: Using morphological knowledge to improve word representation [2.0129974477913457]
我々は,文字n-gramのFastTextバッグを単語形態素の袋に置き換えることで,単語埋め込みを訓練する新しい手法を提案する。結果は、FastTextと比較して、競争力のあるパフォーマンスを示している。
論文参考訳（メタデータ） (2020-07-20T12:47:36Z)
Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。適切な単語の埋め込みを選択することは複雑な作業ですなぜなら、投影された埋め込み空間は人間にとって直感的ではないからです
論文参考訳（メタデータ） (2020-05-08T01:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。