論文の概要: Are "Undocumented Workers" the Same as "Illegal Aliens"? Disentangling Denotation and Connotation in Vector Spaces

• arxiv url: http://arxiv.org/abs/2010.02976v2
• Date: Sun, 25 Oct 2020 15:43:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 07:14:24.421076
• Title: Are "Undocumented Workers" the Same as "Illegal Aliens"? Disentangling Denotation and Connotation in Vector Spaces
• Title（参考訳）: 不法労働者」は「違法外国人」と同じか? ベクトル空間における意味論と意味論
• Authors: Albert Webson, Zhizhong Chen, Carsten Eickhoff, Ellie Pavlick
• Abstract要約: 本稿では、事前訓練された表現を独立な記述と表現として分解する逆ニューラルネットワークを提案する。 内在的解釈性については、同じ意味を持つ単語と異なる意味を持つ単語が、意味空間において互いに近づきながら、意味空間においてさらに離れて移動することを示す。
• 参考スコア（独自算出の注目度）: 24.05624445265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In politics, neologisms are frequently invented for partisan objectives. For example, "undocumented workers" and "illegal aliens" refer to the same group of people (i.e., they have the same denotation), but they carry clearly different connotations. Examples like these have traditionally posed a challenge to reference-based semantic theories and led to increasing acceptance of alternative theories (e.g., Two-Factor Semantics) among philosophers and cognitive scientists. In NLP, however, popular pretrained models encode both denotation and connotation as one entangled representation. In this study, we propose an adversarial neural network that decomposes a pretrained representation as independent denotation and connotation representations. For intrinsic interpretability, we show that words with the same denotation but different connotations (e.g., "immigrants" vs. "aliens", "estate tax" vs. "death tax") move closer to each other in denotation space while moving further apart in connotation space. For extrinsic application, we train an information retrieval system with our disentangled representations and show that the denotation vectors improve the viewpoint diversity of document rankings.
• Abstract（参考訳）: 政治において、ネオロジズムはパルチザンの目的のためにしばしば考案される。 例えば、"undocumented workers" と "illegal aliens" は同一の集団(つまり同じ意味を持つ)を指すが、明らかに異なる意味を持つ。 このような例は伝統的に参照に基づく意味論に挑戦し、哲学者や認知科学者の間で代替理論(例えば2要素意味論)の受容を増加させた。 しかし、NLPでは、人気のある事前訓練されたモデルは1つの絡み合った表現として意味と意味の両方を符号化している。 本研究では,事前学習した表現を独立した意味表現と意味表現として分解する逆ニューラルネットワークを提案する。 内在的な解釈可能性については、同じ意味を持つ単語と異なる意味を持つ単語(例えば、「移民」対「アリエン」対「国家税」対「死税」)が、意味空間でさらに離れている間、相互に接近することを示す。 外部アプリケーションでは,不整合表現を用いた情報検索システムを訓練し,記述ベクトルが文書ランキングの視点の多様性を向上させることを示す。

関連論文リスト

• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Discovering Differences in the Representation of People using Contextualized Semantic Axes [5.972927416266617]
  文脈化された意味軸を用いて、同じ単語のインスタンス間の差異を特徴付ける。 女性への言及や、女性を取り巻く文脈が、時間とともに明らかになりつつあることを示す。
  論文  参考訳（メタデータ） (2022-10-21T18:02:19Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• What company do words keep? Revisiting the distributional semantics of J.R. Firth & Zellig Harris [0.0]
  J.R. Firth と Zellig Harris はしばしば「分配意味論」の発明で知られている。 FirthとHarrisはすべての主要なNLP教科書や多くの基礎論文に引用されている。 1つは言語形式の内部的な作業にのみ焦点を合わせ、もう1つは新しい会社で言葉を考えることを呼びかけます。
  論文  参考訳（メタデータ） (2022-05-16T15:24:30Z)
• When is Wall a Pared and when a Muro? -- Extracting Rules Governing Lexical Selection [85.0262994506624]
  本稿では,微細な語彙の区別を自動的に識別する手法を提案する。 我々は、これらの区別を説明する簡潔な記述を、人間と機械で読める形式で抽出する。 我々はこれらの記述を用いて、与えられた曖昧な単語を異なる可能な翻訳に翻訳する時、非ネイティブ話者に教える。
  論文  参考訳（メタデータ） (2021-09-13T14:49:00Z)
• Concept Identification of Directly and Indirectly Related Mentions Referring to Groups of Persons [9.379650501033465]
  クラスタリングは意味的に関連する単語やフレーズを識別する一般的な手法である。 対象者の集団を識別するための教師なしアプローチの最初の成果を実証する。
  論文  参考訳（メタデータ） (2021-07-02T10:38:43Z)
• Fairness for Image Generation with Uncertain Sensitive Attributes [97.81354305427871]
  この研究は、画像超解像のような生成手順の文脈における公平性の問題に取り組む。 伝統的群フェアネスの定義は通常、指定された保護された群に関して定義されるが、本質的な真偽は存在しないことを強調する。 人口比率の自然拡大はグループ化に強く依存しており、明白に達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-23T06:17:17Z)
• Novel Aficionados and Doppelg\"angers: a referential task for semantic representations of individual entities [0.0]
  固有名詞と共通名詞の意味的区別は,それらの言語分布に反映されることを示す。 結果は、異なる個々の実体の分布表現は、共通の名詞のそれらよりも明確に区別できないことを示している。
  論文  参考訳（メタデータ） (2021-04-20T22:24:19Z)
• Cultural Cartography with Word Embeddings [0.0]
  本稿では,単語の埋め込みが社会学における意味論とどのように一致しているかを示す。 まず、条件を一定に保ち、埋め込み空間が周囲をどう動くかを測定することができる。 第二に、埋め込み空間定数を保持して、ドキュメントや著者がそれに対してどのように動くかを確認することもできる。
  論文  参考訳（メタデータ） (2020-07-09T01:58:28Z)
• It's Morphin' Time! Combating Linguistic Discrimination with Inflectional Perturbations [68.16751625956243]
  完全な標準英語コーパスのみが、非標準言語的背景から少数民族を区別するためにニューラルネットワークを前提としている。 我々は、単語の屈折形態を乱して、可塑性で意味論的に類似した逆の例を作る。
  論文  参考訳（メタデータ） (2020-05-09T04:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。