論文の概要: PolyBERT: Fine-Tuned Poly Encoder BERT-Based Model for Word Sense Disambiguation

• arxiv url: http://arxiv.org/abs/2506.00968v1
• Date: Sun, 01 Jun 2025 11:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.874454
• Title: PolyBERT: Fine-Tuned Poly Encoder BERT-Based Model for Word Sense Disambiguation
• Title（参考訳）: PolyBERT: 単語センスの曖昧化のための細調整ポリエンコーダBERTモデル
• Authors: Linhan Xia, Mingzhan Yang, Guohui Yuan, Shengnan Tao, Yujing Qiu, Guo Yu, Kai Lei,
• Abstract要約: 本稿では,Word Sense Disambiguation (WSD) のためのバッチコントラスト学習を用いたポリエンコーダBERTモデルを提案する。 実験の結果,PolyBERTはF1スコアにおいて,ベースラインWSD法よりも2%優れていた。
• 参考スコア（独自算出の注目度）: 7.445706217961787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mainstream Word Sense Disambiguation (WSD) approaches have employed BERT to extract semantics from both context and definitions of senses to determine the most suitable sense of a target word, achieving notable performance. However, there are two limitations in these approaches. First, previous studies failed to balance the representation of token-level (local) and sequence-level (global) semantics during feature extraction, leading to insufficient semantic representation and a performance bottleneck. Second, these approaches incorporated all possible senses of each target word during the training phase, leading to unnecessary computational costs. To overcome these limitations, this paper introduces a poly-encoder BERT-based model with batch contrastive learning for WSD, named PolyBERT. Compared with previous WSD methods, PolyBERT has two improvements: (1) A poly-encoder with a multi-head attention mechanism is utilized to fuse token-level (local) and sequence-level (global) semantics, rather than focusing on just one. This approach enriches semantic representation by balancing local and global semantics. (2) To avoid redundant training inputs, Batch Contrastive Learning (BCL) is introduced. BCL utilizes the correct senses of other target words in the same batch as negative samples for the current target word, which reduces training inputs and computational cost. The experimental results demonstrate that PolyBERT outperforms baseline WSD methods such as Huang's GlossBERT and Blevins's BEM by 2\% in F1-score. In addition, PolyBERT with BCL reduces GPU hours by 37.6\% compared with PolyBERT without BCL.
• Abstract（参考訳）: 主ストリームワードセンス曖昧化(WSD)アプローチでは、BERTを用いてコンテキストと感覚の定義の両方から意味を抽出し、標的単語の最も適切な感覚を判断し、顕著なパフォーマンスを実現している。 しかし、これらのアプローチには2つの制限がある。 まず、前回の研究では、特徴抽出中にトークンレベル(ローカル)とシーケンスレベル(グローバル)のセマンティクスの表現のバランスが取れず、セマンティクスの表現が不十分でパフォーマンスのボトルネックとなった。 第二に、これらのアプローチは訓練期間中に各単語の可能なすべての感覚を取り入れ、不要な計算コストをもたらす。 このような制約を克服するため,本研究ではPolyBERTというWSDのバッチコントラスト学習を用いたポリエンコーダBERTモデルを提案する。 従来のWSD手法と比較して、PolyBERTには2つの改善がある。 1) トークンレベル(ローカル)とシーケンスレベル(グローバル)のセマンティクスを融合するために、マルチヘッドアテンション機構を備えたポリエンコーダを使用する。 このアプローチは、局所的意味論と大域的意味論のバランスをとることによって意味表現を強化する。 2) 冗長な学習入力を避けるため, Batch Contrastive Learning (BCL) を導入する。 BCLは、現在のターゲット語に対する負のサンプルと同じバッチ内の他のターゲット語の正しい感覚を利用して、トレーニング入力と計算コストを削減します。 実験の結果,PolyBERTはHuang's GlossBERTやBlevins's BEMなどのベースラインWSD法よりF1スコアで2倍高い性能を示した。 加えて、BCL付きPolyBERTはBCLなしのPolyBERTと比較してGPU時間を37.6%削減する。

関連論文リスト

• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models [4.807347156077897]
  Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。 我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。 埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
  論文  参考訳（メタデータ） (2023-11-18T08:47:35Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。 CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。 この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• Improving Bilingual Lexicon Induction with Cross-Encoder Reranking [31.142790337451366]
  BLICEr (BLI with Cross-Encoder Re rank) と呼ばれる新しい半教師付きポストホックリグレード法を提案する。 鍵となる考え方は、mPLMから言語間の語彙的知識を抽出し、元のCLWEと組み合わせることである。 BLICErは、多様な言語にまたがる2つの標準BLIベンチマークで、新しい結果を確立している。
  論文  参考訳（メタデータ） (2022-10-30T21:26:07Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Analysis and Evaluation of Language Models for Word Sense Disambiguation [18.001457030065712]
  トランスフォーマーベースの言語モデルは、嵐によってNLPの多くの分野を取り込んでいる。 BERTは、ワードセンス毎に限られた数のサンプルが利用できる場合でも、高いレベルの感覚の区別を正確に捉えることができる。 BERTとその派生種は既存の評価ベンチマークの大部分を支配している。
  論文  参考訳（メタデータ） (2020-08-26T15:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。