論文の概要: Exploring the Value of Personalized Word Embeddings

• arxiv url: http://arxiv.org/abs/2011.06057v1
• Date: Wed, 11 Nov 2020 20:23:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 00:07:46.574630
• Title: Exploring the Value of Personalized Word Embeddings
• Title（参考訳）: 個人化単語埋め込みの価値を探る
• Authors: Charles Welch, Jonathan K. Kummerfeld, Ver\'onica P\'erez-Rosas, Rada Mihalcea
• Abstract要約: 特定の心理言語カテゴリーに属する単語のサブセットは、ユーザ間で表現がより異なる傾向があることを示す。 個人化単語埋め込みを用いた言語モデルは、著者帰属に効果的に利用できることを示す。
• 参考スコア（独自算出の注目度）: 41.89745054269992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce personalized word embeddings, and examine their value for language modeling. We compare the performance of our proposed prediction model when using personalized versus generic word representations, and study how these representations can be leveraged for improved performance. We provide insight into what types of words can be more accurately predicted when building personalized models. Our results show that a subset of words belonging to specific psycholinguistic categories tend to vary more in their representations across users and that combining generic and personalized word embeddings yields the best performance, with a 4.7% relative reduction in perplexity. Additionally, we show that a language model using personalized word embeddings can be effectively used for authorship attribution.
• Abstract（参考訳）: 本稿では,パーソナライズされた単語埋め込みを紹介し,言語モデリングにおけるその価値を検討する。 パーソナライズされた単語表現と汎用的な単語表現を用いた場合の予測モデルの性能を比較し,これらの表現を性能向上にどのように活用できるかを検討する。 パーソナライズされたモデルを構築する際に、どの種類の単語がより正確に予測できるかを洞察する。 以上の結果から,特定の精神言語カテゴリーに属する単語のサブセットは,ユーザ間の表現に変化がみられ,汎用的およびパーソナライズされた単語埋め込みの組み合わせが最も優れた性能をもたらし,パープレキシティは4.7%低下することが示された。 さらに,パーソナライズされた単語埋め込みを用いた言語モデルが著者帰属に有効であることを示す。

関連論文リスト

• Investigating Idiomaticity in Word Representations [9.208145117062339]
  我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。 そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
  論文  参考訳（メタデータ） (2024-11-04T21:05:01Z)
• Towards Explainability in NLP: Analyzing and Calculating Word Saliency through Word Properties [4.330880304715002]
  本稿では,「塩分」と「塩分」の関係について考察する。 テキストサンプル中の単語とそれらの特性からサリエンシ値へのマッピングモデルSeq2Saliencyを構築した。 単語の塩分濃度を異なる特性で解析する実験を行った。
  論文  参考訳（メタデータ） (2022-07-17T06:02:48Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• Unigram-Normalized Perplexity as a Language Model Performance Measure with Different Vocabulary Sizes [4.477547027158141]
  本稿では,異なる語彙サイズで言語モデルの性能を評価するための新しい指標を提案する。 提案したユニグラム正規化パープレクシリティは、単純なユニグラムモデルから言語モデルの性能改善を実際に示す。
  論文  参考訳（メタデータ） (2020-11-26T10:39:03Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)
• Compositional Demographic Word Embeddings [41.89745054269992]
  そこで本稿では,ユーザのための完全あるいは部分的な人口統計情報から構成的に派生した,人口動態特異的な単語表現を用いたパーソナライズされた単語埋め込みを提案する。 その結果, 言語モデルと単語関連性という2つの課題において, 人口統計学的に認識された単語表現が, 一般的な単語表現よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-10-06T19:23:46Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。