論文の概要: To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
- arxiv url: http://arxiv.org/abs/2406.20054v1
- Date: Fri, 28 Jun 2024 17:07:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 16:10:57.838022
- Title: To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
- Title（参考訳）: To Word Senses and Beyond: 文脈型言語モデルによる概念の導入
- Authors: Bastien Liétard, Pascal Denis, Mikaella Keller,
- Abstract要約: 多義語と同義語は語彙的あいまいさの重要な面である。
本稿では,単語間のソフトクラスタリングを学習する教師なしタスクである概念誘導について紹介する。
本稿では,局所レンマ中心の視点と大域的相互関係の視点を両立する概念誘導手法を提案する。
- 参考スコア（独自算出の注目度）: 0.9176056742068812
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Polysemy and synonymy are two crucial interrelated facets of lexical ambiguity. While both phenomena have been studied extensively in NLP, leading to dedicated systems, they are often been considered independently. While many tasks dealing with polysemy (e.g. Word Sense Disambiguiation or Induction) highlight the role of a word's senses, the study of synonymy is rooted in the study of concepts, i.e. meaning shared across the lexicon. In this paper, we introduce Concept Induction, the unsupervised task of learning a soft clustering among words that defines a set of concepts directly from data. This task generalizes that of Word Sense Induction. We propose a bi-level approach to Concept Induction that leverages both a local lemma-centric view and a global cross-lexicon perspective to induce concepts. We evaluate the obtained clustering on SemCor's annotated data and obtain good performances (BCubed F1 above 0.60). We find that the local and the global levels are mutually beneficial to induce concepts and also senses in our setting. Finally, we create static embeddings representing our induced concepts and use them on the Word-in-Context task, obtaining competitive performances with the State-of-the-Art.
- Abstract（参考訳）: 多義語と同義語は、語彙的曖昧性の2つの重要な相互関係の面である。
どちらの現象もNLPで広く研究され、専用のシステムへと導かれてきたが、それらはしばしば独立に検討されている。
単語センスの曖昧さや誘導といった多義性を扱うタスクの多くは、単語の感覚の役割を強調しているが、同義語の研究は、概念、すなわち語彙間で共有される意味の研究に根ざしている。
本稿では,概念の集合をデータから直接定義する単語間のソフトクラスタリングを学習する教師なしタスクである概念誘導について紹介する。
このタスクは、ワードセンス誘導の処理を一般化する。
本稿では,局所レンマ中心の視点と大域的相互関係の視点を両立させて概念を導出する概念誘導手法を提案する。
得られたクラスタリングをSemCorのアノテートデータに基づいて評価し,優れた性能(BCubed F1以上0.60)を得る。
地域レベルと世界レベルが相互に有益であることは、我々の設定において概念や感覚を誘導する上でも有益である。
最後に、誘導された概念を表す静的な埋め込みを作成し、Word-in-Contextタスクで使用し、State-of-the-Artと競合するパフォーマンスを得る。
関連論文リスト
- Identifying and interpreting non-aligned human conceptual
representations using language modeling [0.0]
先天性失明は,a-モダル語と知覚関連言語ドメインの両方において概念的再編成を引き起こすことを示す。
視覚障害者は、より強く社会的・認知的な意味と、行動に関連する動詞を関連づける。
一部の動詞では、盲目と盲目の表現は非常に似ている。
論文 参考訳（メタデータ） (2024-03-10T13:02:27Z) - Domain Embeddings for Generating Complex Descriptions of Concepts in
Italian Language [65.268245109828]
電子辞書から抽出した言語情報と語彙情報に富んだ分布意味資源を提案する。
リソースは21のドメイン固有の行列と1つの包括的なマトリックスとグラフィカルユーザインタフェースから構成される。
本モデルは,具体的概念知識に直接関連した行列を選択することにより,概念の意味的記述の推論を容易にする。
論文 参考訳（メタデータ） (2024-02-26T15:04:35Z) - Rewrite Caption Semantics: Bridging Semantic Gaps for
Language-Supervised Semantic Segmentation [100.81837601210597]
本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。
CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
論文 参考訳（メタデータ） (2023-09-24T00:05:39Z) - Latent Topology Induction for Understanding Contextualized
Representations [84.7918739062235]
本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。
文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
論文 参考訳（メタデータ） (2022-06-03T11:22:48Z) - Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
概念学習は言語意味論と結びついた視覚表現を構成する。
視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。
本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-28T14:27:38Z) - Toward a Visual Concept Vocabulary for GAN Latent Space [74.12447538049537]
本稿では,GANの潜在空間で表現される原始視覚概念のオープンエンド語彙を構築するための新しい手法を提案する。
提案手法は, 層選択性に基づく知覚的正当方向の自動識別, 自由形, 構成的自然言語記述による人為的アノテーションの3つの要素から構成される。
実験により、我々のアプローチで学んだ概念は信頼性があり、構成可能であることが示され、クラス、コンテキスト、オブザーバをまたいで一般化される。
論文 参考訳（メタデータ） (2021-10-08T17:58:19Z) - A Survey On Neural Word Embeddings [0.4822598110892847]
自然言語処理における意味の研究は、分布仮説に依存する。
概念の分散表現という革命的な考えは、人間の心の働きに近い。
ニューラルワード埋め込みは、すべてのNLPタスクを大幅に改善することで、NLPの分野全体を変革した。
論文 参考訳（メタデータ） (2021-10-05T03:37:57Z) - Learning Zero-Shot Multifaceted Visually Grounded Word Embeddingsvia
Multi-Task Training [8.271859911016719]
言語基盤は、言語(例えば言葉)の象徴的な表現を外界の豊かな知覚的知識に結びつけることを目的としている。
本稿では,言語共起統計から得られる抽象的知識を,知覚情報を取得する過程で犠牲にしていると論じる。
論文 参考訳（メタデータ） (2021-04-15T14:49:11Z) - Joint Semantic Analysis with Document-Level Cross-Task Coherence Rewards [13.753240692520098]
本稿では,共用コア参照解決のためのニューラルネットワークアーキテクチャと,英語のセマンティックロールラベリングについて述べる。
我々は、文書と意味的アノテーション間のグローバルコヒーレンスを促進するために強化学習を使用します。
これにより、異なるドメインからの複数のデータセットにおける両方のタスクが改善される。
論文 参考訳（メタデータ） (2020-10-12T09:36:24Z) - Moving Down the Long Tail of Word Sense Disambiguation with
Gloss-Informed Biencoders [79.38278330678965]
Word Sense Disambiguation (WSD)の主な障害は、単語感覚が均一に分散されないことである。
本稿では,(1)対象語とその周囲の文脈を独立に埋め込んだバイエンコーダモデルを提案する。
論文 参考訳（メタデータ） (2020-05-06T04:21:45Z) - Decomposing Word Embedding with the Capsule Network [23.294890047230584]
そこで本稿では,曖昧な単語の教師なし単語の埋め込みをコンテキスト固有のセンス埋め込みに分解するカプセルネットワーク方式を提案する。
注意操作により、CapsDecE2Sは単語コンテキストを統合し、複数の形態素様ベクトルをコンテキスト固有の感覚埋め込みに再構成する。
本手法では,感覚学習を二分分類に変換し,マッチングラベルと非マッチングによって感覚の関係を明示的に学習する。
論文 参考訳（メタデータ） (2020-04-07T06:37:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。