Fugu-MT 論文翻訳(概要): drsphelps at SemEval-2022 Task 2: Learning idiom representations using BERTRAM

論文の概要: drsphelps at SemEval-2022 Task 2: Learning idiom representations using BERTRAM

arxiv url: http://arxiv.org/abs/2204.02821v2
Date: Thu, 7 Apr 2022 15:17:05 GMT
ステータス: 処理完了
システム内更新日: 2022-04-08 11:26:15.672919
Title: drsphelps at SemEval-2022 Task 2: Learning idiom representations using BERTRAM
Title（参考訳）: SemEval-2022 Task 2: BERTRAMを用いたイディオム表現の学習
Authors: Dylan Phelps
Abstract要約: 各イディオムに埋め込みを追加することで、標準BERT変換器を変更する。本稿では,この手法により表現の質が向上し,タスクの性能が向上することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes our system for SemEval-2022 Task 2 Multilingual Idiomaticity Detection and Sentence Embedding sub-task B. We modify a standard BERT sentence transformer by adding embeddings for each idioms, which are created using BERTRAM and a small number of contexts. We show that this technique increases the quality of idiom representations and leads to better performance on the task. We also perform analysis on our final results and show that the quality of the produced idiom embeddings is highly sensitive to the quality of the input contexts.
Abstract（参考訳）: 本稿では,semval-2022タスク2の多言語的慣用性検出と文埋め込みのサブタスクbについて述べる。この手法により,イディオム表現の質が向上し,タスクの性能が向上することを示す。また、最終結果の分析を行い、生成したイディオムの埋め込みの品質が入力コンテキストの品質に非常に敏感であることを示す。

関連論文リスト

BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings [0.4194295877935868]
埋め込みの選択は、NLPタスクのパフォーマンス向上に重要な役割を果たす。本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
論文参考訳（メタデータ） (2024-11-26T18:25:57Z)
Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
論文参考訳（メタデータ） (2023-09-23T01:52:14Z)
niksss at HinglishEval: Language-agnostic BERT-based Contextual Embeddings with Catboost for Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text [0.0]
本稿では,INLG 2022におけるHinglishEvalチャレンジのシステム記述について述べる。本研究の目的は,コード混合テキスト生成システムの品質に影響を及ぼす要因について検討することであった。
論文参考訳（メタデータ） (2022-06-17T17:36:03Z)
kpfriends at SemEval-2022 Task 2: NEAMER -- Named Entity Augmented Multi-word Expression Recognizer [0.6091702876917281]
このシステムは、名前付きエンティティと慣用的な表現の間で共有される非合成特性にインスパイアされている。評価後の段階において,F1 0.9395でSOTAを達成し,トレーニング安定性の向上を観察した。最後に,非合成的知識伝達,言語間微調整,局所性といった特徴を実験した。
論文参考訳（メタデータ） (2022-04-17T22:58:33Z)
PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
論文参考訳（メタデータ） (2022-01-12T06:54:21Z)
UoB at SemEval-2020 Task 12: Boosting BERT with Corpus Level Information [0.6980076213134383]
我々は、ソーシャルメディア上での虐待を識別するタスクにおいて、TF-IDF(Term Frequency-Inverse Document Frequency)とBERTの統合の有効性を検証した。トップパフォーマンスチームの2ポイントとサブタスクB(ターゲット検出)でスコアを獲得し、44チーム中4位にランクインします。
論文参考訳（メタデータ） (2020-08-19T16:47:15Z)
Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。我々は,構文的 LM から単語の周辺分布を抽出する。本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文参考訳（メタデータ） (2020-05-27T16:44:01Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)
Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文参考訳（メタデータ） (2020-02-17T08:13:36Z)
Multilingual Alignment of Contextual Word Representations [49.42244463346612]
BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
論文参考訳（メタデータ） (2020-02-10T03:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。