論文の概要: PolyLM: Learning about Polysemy through Language Modeling

• arxiv url: http://arxiv.org/abs/2101.10448v1
• Date: Mon, 25 Jan 2021 22:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 20:52:58.162840
• Title: PolyLM: Learning about Polysemy through Language Modeling
• Title（参考訳）: PolyLM: 言語モデリングによるPolysemyの学習
• Authors: Alan Ansell, Felipe Bravo-Marquez, Bernhard Pfahringer
• Abstract要約: PolyLMは、言語モデリング問題として感覚埋め込みを学ぶタスクを定式化する手法です。 WSIでPolyLMを評価し、従来の感覚埋め込み技術よりもはるかに優れたパフォーマンスを発揮します。
• 参考スコア（独自算出の注目度）: 6.890351879124837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To avoid the "meaning conflation deficiency" of word embeddings, a number of models have aimed to embed individual word senses. These methods at one time performed well on tasks such as word sense induction (WSI), but they have since been overtaken by task-specific techniques which exploit contextualized embeddings. However, sense embeddings and contextualization need not be mutually exclusive. We introduce PolyLM, a method which formulates the task of learning sense embeddings as a language modeling problem, allowing contextualization techniques to be applied. PolyLM is based on two underlying assumptions about word senses: firstly, that the probability of a word occurring in a given context is equal to the sum of the probabilities of its individual senses occurring; and secondly, that for a given occurrence of a word, one of its senses tends to be much more plausible in the context than the others. We evaluate PolyLM on WSI, showing that it performs considerably better than previous sense embedding techniques, and matches the current state-of-the-art specialized WSI method despite having six times fewer parameters. Code and pre-trained models are available at https://github.com/AlanAnsell/PolyLM.
• Abstract（参考訳）: 単語埋め込みの「意味的コンフレーション不足」を避けるために、複数のモデルが個々の単語感覚を組み込むことを目的としている。 これらの手法は、一時はword sense induction (wsi) などのタスクでうまく機能していたが、コンテキスト化された埋め込みを利用するタスク固有の技術に取って代わられた。 しかし、感覚埋め込みと文脈化は相互に排他的である必要はない。 言語モデリング問題として,感性埋め込みを学習するタスクを定式化するPolyLMを導入し,文脈化技術の適用を可能にした。 第一に、ある文脈で起こる単語の確率が、その個々の感覚の確率の合計と等しいこと、第二に、ある単語の特定の発生において、その感覚の1つは、他の文脈よりもずっと説得力がある傾向があること、である。 WSI上でのPolyLMの評価は、従来の感覚埋め込み技術よりも大幅に優れており、パラメータが6倍少ないにもかかわらず、現在の最先端の特殊WSI法と一致することを示しています。 コードとトレーニング済みモデルはhttps://github.com/AlanAnsell/PolyLM.comで入手できる。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Multi-sense embeddings through a word sense disambiguation process [2.2344764434954256]
  最も適した感覚。 (MSSA)は、その文脈の意味的効果を考慮して、それぞれの単語をその特定の感覚で曖昧にし、注釈する。 我々は,単語類似性タスクの6つの異なるベンチマークでアプローチを検証し,そのアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-01-21T16:22:34Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• MICE: Mining Idioms with Contextual Embeddings [0.0]
  MICEatic式は自然言語処理アプリケーションでは問題となることがある。 我々は,その目的のためにコンテキスト埋め込みを利用するアプローチを提案する。 両埋め込みを用いたディープニューラルネットワークは,既存のアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-08-13T08:56:40Z)
• Word Embeddings: Stability and Semantic Change [0.0]
  本稿では,過去10年で最も影響力のある埋め込み技術である word2vec, GloVe, fastText のトレーニングプロセスの不安定性について実験的に検討する。 本稿では,埋め込み手法の不安定性を記述する統計モデルを提案し,個々の単語の表現の不安定性を測定するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2020-07-23T16:03:50Z)
• SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences [0.0]
  逐次文中の多文単語の文脈と解釈を動的に推定する手法を提案する。 SCAINアルゴリズムを用いることで、文脈と単語の解釈の相互依存性を逐次最適化し、新しい解釈をオンラインで得ることができる。
  論文  参考訳（メタデータ） (2020-05-29T16:40:27Z)
• Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
  文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。 本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。 この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
  論文  参考訳（メタデータ） (2020-03-14T14:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。