論文の概要: Representing Affect Information in Word Embeddings

• arxiv url: http://arxiv.org/abs/2209.10583v1
• Date: Wed, 21 Sep 2022 18:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:16:57.614830
• Title: Representing Affect Information in Word Embeddings
• Title（参考訳）: 単語埋め込みにおける影響情報の表現
• Authors: Yuhan Zhang, Wenqi Chen, Ruihan Zhang, Xiajie Zhang
• Abstract要約: 大規模ニューラルネットワークで事前学習した単語の埋め込みにおいて、単語の感情の意味がコード化されているかどうかを検討した。 埋め込みは静的あるいは文脈的に変化し、事前学習と微調整の段階で特定の情報にどの程度影響するかが優先された。
• 参考スコア（独自算出の注目度）: 5.378735006566249
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: A growing body of research in natural language processing (NLP) and natural language understanding (NLU) is investigating human-like knowledge learned or encoded in the word embeddings from large language models. This is a step towards understanding what knowledge language models capture that resembles human understanding of language and communication. Here, we investigated whether and how the affect meaning of a word (i.e., valence, arousal, dominance) is encoded in word embeddings pre-trained in large neural networks. We used the human-labeled dataset as the ground truth and performed various correlational and classification tests on four types of word embeddings. The embeddings varied in being static or contextualized, and how much affect specific information was prioritized during the pre-training and fine-tuning phase. Our analyses show that word embedding from the vanilla BERT model did not saliently encode the affect information of English words. Only when the BERT model was fine-tuned on emotion-related tasks or contained extra contextualized information from emotion-rich contexts could the corresponding embedding encode more relevant affect information.
• Abstract（参考訳）: 自然言語処理(NLP)と自然言語理解(NLU)における研究の活発化は、大きな言語モデルから単語の埋め込みに学習またはエンコードされた人間のような知識を調査している。 これは、言語とコミュニケーションの人間の理解に似た知識言語モデルが捉えるものを理解するための一歩です。 そこで我々は,大容量ニューラルネットワークに事前学習した単語の埋め込みにおいて,単語の意味(価,覚醒,支配)がどのように符号化されているかを検討した。 人間のラベル付きデータセットを具体的真実として使用し,4種類の単語埋め込みの相関および分類試験を行った。 埋め込みは静的あるいは文脈的に変化し、事前学習と微調整の段階で特定の情報にどの程度影響するかが優先された。 解析の結果,バニラ・バートモデルによる単語埋め込みは,英語単語の影響情報を十分にエンコードしなかった。 BERTモデルが感情に関連したタスクを微調整したり、感情に富んだコンテキストからの余分なコンテキスト情報を含む場合のみ、対応する埋め込みエンコードはより関連性の高い影響情報をよりコード化できる。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Joint processing of linguistic properties in brains and language models [14.997785690790032]
  人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。 特定の言語特性の除去は脳のアライメントを著しく低下させる。 これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
  論文  参考訳（メタデータ） (2022-12-15T19:13:42Z)
• A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
  本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。 目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
  論文  参考訳（メタデータ） (2022-10-19T10:06:03Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Knowledge Graph Fusion for Language Model Fine-tuning [0.0]
  BERTの微調整段階における知識導入のメリットについて検討する。 既存のK-BERTモデルは、知識グラフから三つ子で文を豊かにするものであり、英語に適応している。 K-BERTに変更された英語は、他の単語ベースの言語にも拡張されている。
  論文  参考訳（メタデータ） (2022-06-21T08:06:22Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)
• Linguistic Profiling of a Neural Language Model [1.0552465253379135]
  本研究では,ニューラルネットワークモデル(NLM)が微調整前後に学習した言語知識について検討する。 BERTは、幅広い言語特性を符号化できるが、特定の下流タスクで訓練すると、その情報を失う傾向にある。
  論文  参考訳（メタデータ） (2020-10-05T09:09:01Z)
• On the Effects of Knowledge-Augmented Data in Word Embeddings [0.6749750044497732]
  単語埋め込み学習のためのデータ拡張による言語知識注入のための新しい手法を提案する。 提案手法は,学習した埋め込みの本質的な特性を向上すると同時に,下流テキスト分類タスクにおける結果の大幅な変更は行わない。
  論文  参考訳（メタデータ） (2020-10-05T02:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。