論文の概要: UU-Tax at SemEval-2022 Task 3: Improving the generalizability of
language models for taxonomy classification through data augmentation
- arxiv url: http://arxiv.org/abs/2210.03378v1
- Date: Fri, 7 Oct 2022 07:41:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 12:32:01.608191
- Title: UU-Tax at SemEval-2022 Task 3: Improving the generalizability of
language models for taxonomy classification through data augmentation
- Title（参考訳）: UU-Tax at SemEval-2022 Task 3: データ拡張による分類分類のための言語モデルの一般化性の向上
- Authors: Injy Sarhan and Pablo Mosteiro and Marco Spruit
- Abstract要約: 本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。
タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。
より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents our strategy to address the SemEval-2022 Task 3 PreTENS:
Presupposed Taxonomies Evaluating Neural Network Semantics. The goal of the
task is to identify if a sentence is deemed acceptable or not, depending on the
taxonomic relationship that holds between a noun pair contained in the
sentence. For sub-task 1 -- binary classification -- we propose an effective
way to enhance the robustness and the generalizability of language models for
better classification on this downstream task. We design a two-stage
fine-tuning procedure on the ELECTRA language model using data augmentation
techniques. Rigorous experiments are carried out using multi-task learning and
data-enriched fine-tuning. Experimental results demonstrate that our proposed
model, UU-Tax, is indeed able to generalize well for our downstream task. For
sub-task 2 -- regression -- we propose a simple classifier that trains on
features obtained from Universal Sentence Encoder (USE). In addition to
describing the submitted systems, we discuss other experiments that employ
pre-trained language models and data augmentation techniques. For both
sub-tasks, we perform error analysis to further understand the behaviour of the
proposed models. We achieved a global F1_Binary score of 91.25% in sub-task 1
and a rho score of 0.221 in sub-task 2.
- Abstract（参考訳）: 本稿では,SemEval-2022 Task 3 PreTENS: Preposed Taxonomies Evaluating Neural Network Semanticsについて述べる。
タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。
サブタスク1 -- バイナリ分類 -- では、この下流タスクの分類を改善するために、言語モデルの堅牢性と一般化性を高める効果的な方法を提案します。
データ拡張手法を用いてエレクトラ言語モデル上の2段階の微調整手順を設計する。
マルチタスク学習とデータ強化ファインチューニングを用いて厳密な実験を行う。
実験結果から,提案モデルであるUU-Taxが,下流タスクに有効であることが示された。
サブタスク2 -- 回帰について、Universal Sentence Encoder(USE)から得られた特徴をトレーニングする単純な分類器を提案する。
提案システムの記述に加えて,事前学習された言語モデルとデータ拡張技術を用いた実験についても述べる。
どちらのサブタスクでもエラー解析を行い,提案モデルの振る舞いをさらに理解する。
サブタスク1ではF1_Binaryスコア91.25%,サブタスク2ではrhoスコア0.221を得た。
関連論文リスト
- Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-22T08:06:22Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳（メタデータ） (2023-02-18T09:26:35Z) - Conciseness: An Overlooked Language Task [11.940413163824887]
タスクを定義し、要約や単純化といった関連するタスクとは異なることを示す。
大規模なニューラルネットワークモデルによるゼロショットセットアップがよく機能しない場合、簡潔性は難しい課題であることを示す。
論文 参考訳（メタデータ） (2022-11-08T09:47:11Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-14T09:10:49Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳（メタデータ） (2022-03-14T04:26:40Z) - Towards Sample-efficient Overparameterized Meta-learning [37.676063120293044]
機械学習における包括的なゴールは、少数のサンプルで一般化可能なモデルを構築することである。
本稿ではメタラーニングにおけるパラメータ化の克服を目的とする。
最適表現の学習はタスク認識正規化を設計する問題と一致することを示す。
論文 参考訳（メタデータ） (2022-01-16T21:57:17Z) - Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。
具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。
実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2021-09-16T07:58:33Z) - Learning Better Sentence Representation with Syntax Information [0.0]
構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。
本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
論文 参考訳（メタデータ） (2021-01-09T12:15:08Z) - A Mathematical Exploration of Why Language Models Help Solve Downstream
Tasks [35.046596668631615]
単語予測のために大きなテキストコーパスを用いて事前訓練された自動回帰言語モデルは、多くの下流タスクの解決に成功している。
本稿では,テキスト分類の下流課題に対する,この現象の数学的研究を開始する。
論文 参考訳（メタデータ） (2020-10-07T20:56:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。