論文の概要: What do Language Models know about word senses? Zero-Shot WSD with Language Models and Domain Inventories

• arxiv url: http://arxiv.org/abs/2302.03353v1
• Date: Tue, 7 Feb 2023 09:55:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 16:51:09.219768
• Title: What do Language Models know about word senses? Zero-Shot WSD with Language Models and Domain Inventories
• Title（参考訳）: 単語感覚について言語モデルは何を知っているか? 言語モデルとドメインインベントリによるゼロショットWSD
• Authors: Oscar Sainz, Oier Lopez de Lacalle, Eneko Agirre and German Rigau
• Abstract要約: 我々は,言語モデルが推論時間における感覚間の識別能力の程度を調査することを目的としている。 我々は、単語感覚とドメインの関係を利用して、単語センスの曖昧さ(WSD)をテキスト・エンターテイメント問題として位置づける。 以上の結果から,本手法は実効性があり,教師付きシステムに近いことが示唆された。
• 参考スコア（独自算出の注目度）: 23.623074512572593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Models are the core for almost any Natural Language Processing system nowadays. One of their particularities is their contextualized representations, a game changer feature when a disambiguation between word senses is necessary. In this paper we aim to explore to what extent language models are capable of discerning among senses at inference time. We performed this analysis by prompting commonly used Languages Models such as BERT or RoBERTa to perform the task of Word Sense Disambiguation (WSD). We leverage the relation between word senses and domains, and cast WSD as a textual entailment problem, where the different hypothesis refer to the domains of the word senses. Our results show that this approach is indeed effective, close to supervised systems.
• Abstract（参考訳）: 言語モデルは、今日のほぼすべての自然言語処理システムの中核である。 彼らの特徴の1つは文脈化された表現であり、単語感覚間の曖昧さが必要なときにゲームチェンジャー機能である。 本稿では,言語モデルが推論時における感覚の識別能力について検討する。 本研究では, BERT や RoBERTa などの一般的な言語モデルにWord Sense Disambiguation (WSD) の実行を促すことで, この分析を行った。 我々は、単語感覚と領域の関係を活用し、wsdを単語感覚の領域を異なる仮説で参照するテクスト的包含問題としてキャストする。 以上の結果から,本手法は実効性があり,教師付きシステムに近いことが示唆された。

関連論文リスト

• Word Sense Disambiguation in Native Spanish: A Comprehensive Lexical Evaluation Resource [2.7775559369441964]
  文脈における単語の語彙的意味は、Word Sense Disambiguation (WSD)アルゴリズムによって自動的に決定できる。 本稿では,スペインのWSDの新たな資源について紹介する。 センセーショナルインベントリと、ディクシオリオ・デ・ラ・レングア・エスパノラ(Diccionario de la Lengua Espanola)に由来する語彙データセットを含んでいる。
  論文  参考訳（メタデータ） (2024-09-30T17:22:33Z)
• Word sense extension [8.939269057094661]
  本稿では,新しい文脈に向けて,単語が新たな感覚を創出することを可能にする,単語知覚拡張(WSE)のパラダイムを提案する。 本研究では,多文語型を異なる感覚を示す2つの擬似トークンに分割することで,単語拡張をシミュレートするフレームワークを開発する。 本フレームワークは,様々な種類の単語知覚拡張をサポートするために,言語モデル埋め込み空間を変換する学習手法と,連鎖の認知モデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-06-09T00:54:21Z)
• A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
  本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。 目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
  論文  参考訳（メタデータ） (2022-10-19T10:06:03Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
  本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。 我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。 SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-14T01:24:03Z)
• BERT Has Uncommon Sense: Similarity Ranking for Word Sense BERTology [11.650381752104298]
  文脈化単語埋め込みモデルが単語感覚をいかに表現できるかを考察する。 いくつかの一般的なCWEモデルは、比例的に稀な感覚であっても、明示的な感覚の監督なしに、すべてランダムなベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-09-20T18:15:26Z)
• Sense representations for Portuguese: experiments with sense embeddings and deep neural language models [0.0]
  教師なしの感覚表現は、その文脈意味をテキストで分析することによって、単語の異なる感覚を誘導することができる。 ポルトガル語への感性埋め込みを創出するための最初の実験について述べる。
  論文  参考訳（メタデータ） (2021-08-31T18:07:01Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders [79.38278330678965]
  Word Sense Disambiguation (WSD)の主な障害は、単語感覚が均一に分散されないことである。 本稿では,(1)対象語とその周囲の文脈を独立に埋め込んだバイエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-06T04:21:45Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)
• Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
  文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。 本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。 この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
  論文  参考訳（メタデータ） (2020-03-14T14:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。