論文の概要: MULTISEM at SemEval-2020 Task 3: Fine-tuning BERT for Lexical Meaning
- arxiv url: http://arxiv.org/abs/2007.12432v1
- Date: Fri, 24 Jul 2020 09:50:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 06:41:00.522858
- Title: MULTISEM at SemEval-2020 Task 3: Fine-tuning BERT for Lexical Meaning
- Title（参考訳）: SemEval-2020 Task 3: Fine-tuning BERT for Lexical Meaning
- Authors: Aina Gar\'i Soler, Marianna Apidianaki
- Abstract要約: SemEval 2020 Task 3: Graded Word similarity in Context (GWSC) に提出された MultiSEM システムについて述べる。
我々は,GWSCに関連する語彙意味タスクの微調整により,事前学習したBERTモデルに意味知識を注入する実験を行った。
既存の意味的注釈付きデータセットを用いて,文脈における語彙代用を自動生成することで,類似性を近似することを提案する。
- 参考スコア（独自算出の注目度）: 6.167728295758172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the MULTISEM systems submitted to SemEval 2020 Task 3: Graded Word
Similarity in Context (GWSC). We experiment with injecting semantic knowledge
into pre-trained BERT models through fine-tuning on lexical semantic tasks
related to GWSC. We use existing semantically annotated datasets and propose to
approximate similarity through automatically generated lexical substitutes in
context. We participate in both GWSC subtasks and address two languages,
English and Finnish. Our best English models occupy the third and fourth
positions in the ranking for the two subtasks. Performance is lower for the
Finnish models which are mid-ranked in the respective subtasks, highlighting
the important role of data availability for fine-tuning.
- Abstract（参考訳）: 本稿では,SemEval 2020 Task 3: Graded Word similarity in Context (GWSC) に提出された MultiSEM システムについて述べる。
我々は,GWSCに関連する語彙意味タスクの微調整により,事前学習したBERTモデルに意味知識を注入する実験を行った。
既存の意味的注釈付きデータセットを用いて,文脈における語彙代用を自動生成することで,類似性を近似することを提案する。
我々はGWSCサブタスクの両方に参加し、英語とフィンランド語という2つの言語に対処する。
私たちの最高の英語モデルは2つのサブタスクのランキングで3位と4位を占めています。
各サブタスクで中間ランクのフィンランドモデルのパフォーマンスは低く、微調整におけるデータ可用性の重要な役割を強調している。
関連論文リスト
- Temporal and Semantic Evaluation Metrics for Foundation Models in Post-Hoc Analysis of Robotic Sub-tasks [1.8124328823188356]
本稿では,トラジェクトリデータを時間的境界と自然言語に基づく記述サブタスクに分解するフレームワークを提案する。
我々のフレームワークは、全軌道を構成する低レベルのサブタスクに対して、時間ベースの記述と言語ベースの記述の両方を提供する。
この尺度は2つのサブタスク分解の間の言語記述の時間的アライメントと意味的忠実度を測定する。
論文 参考訳（メタデータ） (2024-03-25T22:39:20Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T16:24:01Z) - IXA/Cogcomp at SemEval-2023 Task 2: Context-enriched Multilingual Named
Entity Recognition using Knowledge Bases [53.054598423181844]
3つのステップからなる新しいNERカスケードアプローチを提案する。
我々は、細粒度および新興物質を正確に分類する上で、外部知識基盤の重要性を実証的に示す。
本システムは,低リソース言語設定においても,マルチコネラ2共有タスクにおいて頑健な性能を示す。
論文 参考訳（メタデータ） (2023-04-20T20:30:34Z) - Seq2Seq-SC: End-to-End Semantic Communication Systems with Pre-trained
Language Model [20.925910474226885]
本稿では,5G NRと互換性のあるセマンティック・セマンティック・ネットワーク Seq2seq-SC を提案する。
我々は,語彙的類似度をBLEUで測定し,意味的類似度をSBERTで測定した意味的類似度という性能指標を用いる。
論文 参考訳（メタデータ） (2022-10-27T07:48:18Z) - Alibaba-Translate China's Submission for WMT 2022 Quality Estimation
Shared Task [80.22825549235556]
我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。
具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。
その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
論文 参考訳（メタデータ） (2022-10-18T08:55:27Z) - LRG at SemEval-2021 Task 4: Improving Reading Comprehension with
Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。
マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。
本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
論文 参考訳（メタデータ） (2021-02-24T12:33:12Z) - BRUMS at SemEval-2020 Task 3: Contextualised Embeddings for Predicting
the (Graded) Effect of Context in Word Similarity [9.710464466895521]
本稿では,SemEval-2020 Task 3: Graded Word similarity in Contextを提案する。
このシステムは、スタックド埋め込みや平均埋め込みなど、タスク固有の適応を持つ、最先端の文脈化された単語埋め込みを利用する。
最終ランキングに従えば、我々のアプローチはフィンランドのサブタスク2の1位を維持しながら、各言語の上位5のソリューションにランクインする。
論文 参考訳（メタデータ） (2020-10-13T10:25:18Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-09-30T08:56:53Z) - GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。
我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。
実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
論文 参考訳（メタデータ） (2020-09-29T08:17:58Z) - BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。
サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。
我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。
強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
論文 参考訳（メタデータ） (2020-08-17T12:45:39Z) - BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。
提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。
我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文 参考訳（メタデータ） (2020-04-29T04:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。