論文の概要: To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models

• arxiv url: http://arxiv.org/abs/2406.20054v1
• Date: Fri, 28 Jun 2024 17:07:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 16:10:57.838022
• Title: To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
• Title（参考訳）: To Word Senses and Beyond: 文脈型言語モデルによる概念の導入
• Authors: Bastien Liétard, Pascal Denis, Mikaella Keller,
• Abstract要約: 多義語と同義語は語彙的あいまいさの重要な面である。 本稿では,単語間のソフトクラスタリングを学習する教師なしタスクである概念誘導について紹介する。 本稿では,局所レンマ中心の視点と大域的相互関係の視点を両立する概念誘導手法を提案する。
• 参考スコア（独自算出の注目度）: 0.9176056742068812
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Polysemy and synonymy are two crucial interrelated facets of lexical ambiguity. While both phenomena have been studied extensively in NLP, leading to dedicated systems, they are often been considered independently. While many tasks dealing with polysemy (e.g. Word Sense Disambiguiation or Induction) highlight the role of a word's senses, the study of synonymy is rooted in the study of concepts, i.e. meaning shared across the lexicon. In this paper, we introduce Concept Induction, the unsupervised task of learning a soft clustering among words that defines a set of concepts directly from data. This task generalizes that of Word Sense Induction. We propose a bi-level approach to Concept Induction that leverages both a local lemma-centric view and a global cross-lexicon perspective to induce concepts. We evaluate the obtained clustering on SemCor's annotated data and obtain good performances (BCubed F1 above 0.60). We find that the local and the global levels are mutually beneficial to induce concepts and also senses in our setting. Finally, we create static embeddings representing our induced concepts and use them on the Word-in-Context task, obtaining competitive performances with the State-of-the-Art.
• Abstract（参考訳）: 多義語と同義語は、語彙的曖昧性の2つの重要な相互関係の面である。 どちらの現象もNLPで広く研究され、専用のシステムへと導かれてきたが、それらはしばしば独立に検討されている。 単語センスの曖昧さや誘導といった多義性を扱うタスクの多くは、単語の感覚の役割を強調しているが、同義語の研究は、概念、すなわち語彙間で共有される意味の研究に根ざしている。 本稿では,概念の集合をデータから直接定義する単語間のソフトクラスタリングを学習する教師なしタスクである概念誘導について紹介する。 このタスクは、ワードセンス誘導の処理を一般化する。 本稿では,局所レンマ中心の視点と大域的相互関係の視点を両立させて概念を導出する概念誘導手法を提案する。 得られたクラスタリングをSemCorのアノテートデータに基づいて評価し,優れた性能(BCubed F1以上0.60)を得る。 地域レベルと世界レベルが相互に有益であることは、我々の設定において概念や感覚を誘導する上でも有益である。 最後に、誘導された概念を表す静的な埋め込みを作成し、Word-in-Contextタスクで使用し、State-of-the-Artと競合するパフォーマンスを得る。

関連論文リスト

• Identifying and interpreting non-aligned human conceptual representations using language modeling [0.0]
  先天性失明は,a-モダル語と知覚関連言語ドメインの両方において概念的再編成を引き起こすことを示す。 視覚障害者は、より強く社会的・認知的な意味と、行動に関連する動詞を関連づける。 一部の動詞では、盲目と盲目の表現は非常に似ている。
  論文  参考訳（メタデータ） (2024-03-10T13:02:27Z)
• Unifying Latent and Lexicon Representations for Effective Video-Text Retrieval [87.69394953339238]
  ビデオテキスト検索における微細な意味を捉えるために語彙表現を学習するUNIFYフレームワークを提案する。 MSR-VTT と DiDeMo をそれぞれ4.8%,Recall@1 を8.2%改善した。
  論文  参考訳（メタデータ） (2024-02-26T17:36:50Z)
• Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language [65.268245109828]
  電子辞書から抽出した言語情報と語彙情報に富んだ分布意味資源を提案する。 リソースは21のドメイン固有の行列と1つの包括的なマトリックスとグラフィカルユーザインタフェースから構成される。 本モデルは,具体的概念知識に直接関連した行列を選択することにより,概念の意味的記述の推論を容易にする。
  論文  参考訳（メタデータ） (2024-02-26T15:04:35Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Building a visual semantics aware object hierarchy [0.0]
  視覚的意味論を意識したオブジェクト階層を構築するための新しい教師なし手法を提案する。 この論文の直感は、概念が階層的に組織化されている現実世界の知識表現から来ています。 評価は2つの部分から構成され、まず、構築された階層をオブジェクト認識タスクに適用し、その上で、視覚的階層と既存の語彙階層を比較して、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-02-26T00:10:21Z)
• A Survey On Neural Word Embeddings [0.4822598110892847]
  自然言語処理における意味の研究は、分布仮説に依存する。 概念の分散表現という革命的な考えは、人間の心の働きに近い。 ニューラルワード埋め込みは、すべてのNLPタスクを大幅に改善することで、NLPの分野全体を変革した。
  論文  参考訳（メタデータ） (2021-10-05T03:37:57Z)
• Learning Zero-Shot Multifaceted Visually Grounded Word Embeddingsvia Multi-Task Training [8.271859911016719]
  言語基盤は、言語(例えば言葉)の象徴的な表現を外界の豊かな知覚的知識に結びつけることを目的としている。 本稿では,言語共起統計から得られる抽象的知識を,知覚情報を取得する過程で犠牲にしていると論じる。
  論文  参考訳（メタデータ） (2021-04-15T14:49:11Z)
• Joint Semantic Analysis with Document-Level Cross-Task Coherence Rewards [13.753240692520098]
  本稿では,共用コア参照解決のためのニューラルネットワークアーキテクチャと,英語のセマンティックロールラベリングについて述べる。 我々は、文書と意味的アノテーション間のグローバルコヒーレンスを促進するために強化学習を使用します。 これにより、異なるドメインからの複数のデータセットにおける両方のタスクが改善される。
  論文  参考訳（メタデータ） (2020-10-12T09:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。