論文の概要: UTSA NLP at SemEval-2022 Task 4: An Exploration of Simple Ensembles of
Transformers, Convolutional, and Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2203.14920v1
- Date: Mon, 28 Mar 2022 17:17:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 14:46:13.467937
- Title: UTSA NLP at SemEval-2022 Task 4: An Exploration of Simple Ensembles of
Transformers, Convolutional, and Recurrent Neural Networks
- Title(参考訳): UTSA NLP at SemEval-2022 Task 4: An Exploration of Simple Ensembles of Transformer, Convolutional, and Recurrent Neural Networks
- Authors: Xingmeng Zhao and Anthony Rios
- Abstract要約: この原稿は、UTSA SemEval-2022 Task 4によって開発されたシステムについて記述している。
提案手法では,RoBERTa,畳み込みニューラルネットワーク,双方向長短期記憶ネットワークなど,いくつかのディープラーニングアーキテクチャの利用について検討する。
全体として、いくつかのアンサンブルモデルを実験した結果、5つのRoBERTaモデルの単純な組み合わせは、開発データセットで.6441、最終テストデータセットで.5745のFスコアを達成した。
- 参考スコア(独自算出の注目度): 12.6970199179668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The act of appearing kind or helpful via the use of but having a feeling of
superiority condescending and patronizing language can have have serious mental
health implications to those that experience it. Thus, detecting this
condescending and patronizing language online can be useful for online
moderation systems. Thus, in this manuscript, we describe the system developed
by Team UTSA SemEval-2022 Task 4, Detecting Patronizing and Condescending
Language. Our approach explores the use of several deep learning architectures
including RoBERTa, convolutions neural networks, and Bidirectional Long
Short-Term Memory Networks. Furthermore, we explore simple and effective
methods to create ensembles of neural network models. Overall, we experimented
with several ensemble models and found that the a simple combination of five
RoBERTa models achieved an F-score of .6441 on the development dataset and
.5745 on the final test dataset. Finally, we also performed a comprehensive
error analysis to better understand the limitations of the model and provide
ideas for further research.
- Abstract(参考訳): 優しくても、優越感があり、言語を保護していると感じる行為は、その言語を体験する人々に深刻な精神的健康的影響をもたらす可能性がある。
したがって、オンラインのモデレーションシステムでは、この提案言語をオンラインで検出することは有用である。
そこで本論文では, UTSA SemEval-2022 Task 4 によって開発されたシステムについて述べる。
本手法は,roberta,convolutions neural networks,bidirectional long short-term memory networkなど,いくつかのディープラーニングアーキテクチャの利用を探求する。
さらに,ニューラルネットワークモデルのアンサンブルを作成するための,単純かつ効果的な手法について検討する。
全体として、いくつかのアンサンブルモデルを実験した結果、5つのRoBERTaモデルの単純な組み合わせは、開発データセットで.6441、最終テストデータセットで.5745のFスコアを達成した。
最後に,モデルの限界を理解し,さらなる研究のためのアイデアを提供するため,包括的なエラー解析を実施した。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳(メタデータ) (2024-06-14T13:12:07Z) - Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。
その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
論文 参考訳(メタデータ) (2024-02-08T16:23:29Z) - One model to rule them all: ranking Slovene summarizers [0.0]
与えられたテキストに対して最適な要約モデルを推奨するシステムを提案する。
提案システムは、入力内容を解析する完全に接続されたニューラルネットワークを用いる。
提案したSloMetaSumモデルの性能を自動評価し,その一部を手動で評価する。
論文 参考訳(メタデータ) (2023-06-20T13:12:58Z) - Exploiting Large Neuroimaging Datasets to Create Connectome-Constrained
Approaches for more Robust, Efficient, and Adaptable Artificial Intelligence [4.998666322418252]
我々は、脳の地図を含む大きなニューロイメージングデータセットを利用するパイプラインを構想する。
我々は,繰り返しるサブサーキットやモチーフの発見手法を開発した。
第3に、チームはフルーツフライコネクトームのメモリ形成の回路を分析し、新しい生成的リプレイアプローチの設計を可能にした。
論文 参考訳(メタデータ) (2023-05-26T23:04:53Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Sentiment Analysis for Sinhala Language using Deep Learning Techniques [1.0499611180329804]
本稿では,RNN,LSTM,Bi-LSTM,カプセルネットワークなどの標準シーケンスモデルの利用について,より包括的な研究を行った。
この4つのクラスに注釈を付けた15059年のシンハラのニュースコメントと、948万のトークンからなるコーパスのデータセットが公開されている。
論文 参考訳(メタデータ) (2020-11-14T12:02:30Z) - Combining Deep Learning and String Kernels for the Localization of Swiss
German Tweets [28.497747521078647]
2番目のサブタスクは、約3万のスイスのドイツのJodelからなるデータセットをターゲットにしています。
我々は、このタスクを2重回帰問題とみなし、緯度と経度の両方を予測するために、さまざまな機械学習アプローチを採用している。
実験結果から,文字列カーネルに基づく手作りモデルの方が,ディープラーニングのアプローチよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2020-10-07T19:16:45Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z) - AttViz: Online exploration of self-attention for transparent neural
language modeling [7.574392147428978]
本研究では,AttVizを提案する。AttVizは,個々のテキストトークンに関連付けられた自己注意値の探索を行うオンラインツールキットである。
既存のディープラーニングパイプラインが、AttVizに適したアウトプットを生成し、最小限の労力で、アテンションヘッドとアグリゲーションの新たな視覚化を提供する方法を示します。
論文 参考訳(メタデータ) (2020-05-12T12:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。