論文の概要: PALI at SemEval-2021 Task 2: Fine-Tune XLM-RoBERTa for Word in Context Disambiguation

• arxiv url: http://arxiv.org/abs/2104.10375v1
• Date: Wed, 21 Apr 2021 06:24:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:37:02.303100
• Title: PALI at SemEval-2021 Task 2: Fine-Tune XLM-RoBERTa for Word in Context Disambiguation
• Title（参考訳）: SemEval-2021 Task 2: Fine-Tune XLM-RoBERTa for Word in Context Disambiguation (英語)
• Authors: Shuyi Xie, Jian Ma, Haiqin Yang, Lianxin Jiang, Yang Mo, Jianping Shen
• Abstract要約: 本稿では、SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguationの受賞システムについて述べる。 我々はXLM-RoBERTaモデルを微調整し、文脈の曖昧さを解消する。 我々は4つの言語横断タスクで1位に達した。
• 参考スコア（独自算出の注目度）: 6.243389472463914
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents the PALI team's winning system for SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation. We fine-tune XLM-RoBERTa model to solve the task of word in context disambiguation, i.e., to determine whether the target word in the two contexts contains the same meaning or not. In the implementation, we first specifically design an input tag to emphasize the target word in the contexts. Second, we construct a new vector on the fine-tuned embeddings from XLM-RoBERTa and feed it to a fully-connected network to output the probability of whether the target word in the context has the same meaning or not. The new vector is attained by concatenating the embedding of the [CLS] token and the embeddings of the target word in the contexts. In training, we explore several tricks, such as the Ranger optimizer, data augmentation, and adversarial training, to improve the model prediction. Consequently, we attain first place in all four cross-lingual tasks.
• Abstract（参考訳）: 本稿では,SemEval-2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguationについて述べる。 我々はXLM-RoBERTaモデルを微調整し、文脈の曖昧さ、すなわち2つの文脈における対象単語が同じ意味を持つか否かを判断する。 実装では,まず,コンテキスト内の対象単語を強調する入力タグを具体的に設計する。 第2に、XLM-RoBERTaからの微調整埋め込み上に新しいベクトルを構築し、それを完全に接続されたネットワークに供給し、コンテキスト内の対象単語が同じ意味を持つか否かの確率を出力する。 新しいベクトルは、[CLS]トークンの埋め込みとターゲット単語のコンテキストへの埋め込みを連結することにより達成される。 トレーニングでは、モデル予測を改善するために、rangerオプティマイザ、データ拡張、敵対的トレーニングなどいくつかのトリックを探求する。 その結果,4つの言語横断タスクで1位となった。

関連論文リスト

• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• DualNER: A Dual-Teaching framework for Zero-shot Cross-lingual Named Entity Recognition [27.245171237640502]
  DualNERは、注釈付きソース言語コーパスとラベルなしターゲット言語テキストの両方をフル活用するためのフレームワークである。 NERの2つの相補的な学習パラダイム、すなわちシーケンスラベリングとスパン予測を統合マルチタスクフレームワークに統合する。
  論文  参考訳（メタデータ） (2022-11-15T12:50:59Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories [47.03271152494389]
  Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。 既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。 我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-27T00:04:33Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers [1.869621561196521]
  我々はSemEval 2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) の解法を提案する。 目的は、両方の文に共通する単語が同じ意味を引き起こすかどうかを検出することである。 多言語とクロスリンガルの両方の設定のためのシステムを提出します。
  論文  参考訳（メタデータ） (2021-04-04T08:49:28Z)
• R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
  文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
  論文  参考訳（メタデータ） (2020-12-16T13:11:30Z)
• VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling [24.775371434410328]
  定義モデリングの課題は、単語やフレーズの定義を学習することである。 このタスクの既存のアプローチは差別的であり、直接的ではなく暗黙的に分布的意味論と語彙的意味論を組み合わせたものである。 本稿では、文脈内で使われるフレーズとその定義の基盤となる関係を明示的にモデル化するために、連続潜時変数を導入したタスク生成モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-07T02:48:44Z)
• SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces [63.17308641484404]
  本稿では,異なる単語の意味の表現として,各単語の異なる事象のクラスタを特定することを提案する。 得られたクラスタの分解は、自然に4つのターゲット言語において、各ターゲットワードごとの意味的シフトのレベルを定量化することができる。 当社のアプローチは,提供されたすべてのSemEvalベースラインを抜いて,個別(言語毎)と全体の両方で良好に動作します。
  論文  参考訳（メタデータ） (2020-10-02T08:38:40Z)
• Context based Text-generation using LSTM networks [0.5330240017302621]
  提案モデルでは,与えられた入力単語の集合とコンテキストベクトルのテキストを生成するように訓練されている。 生成したテキストのコンテキストに対するセマンティック・クローズネスに基づいて評価を行う。
  論文  参考訳（メタデータ） (2020-04-30T18:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。