Fugu-MT 論文翻訳(概要): Performance Comparison of Simple Transformer and Res-CNN-BiLSTM for Cyberbullying Classification

論文の概要: Performance Comparison of Simple Transformer and Res-CNN-BiLSTM for Cyberbullying Classification

arxiv url: http://arxiv.org/abs/2206.02206v1
Date: Sun, 5 Jun 2022 15:46:21 GMT
ステータス: 処理完了
システム内更新日: 2022-06-08 10:47:37.932897
Title: Performance Comparison of Simple Transformer and Res-CNN-BiLSTM for Cyberbullying Classification
Title（参考訳）: サイバーバブル分類における簡易変圧器とRes-CNN-BiLSTMの性能比較
Authors: Raunak Joshi, Abhishek Gupta
Abstract要約: 本稿では,テキスト分類問題に対する単純なトランスフォーマーベースネットワークとRes-CNN-BiLSTMベースのネットワークの性能比較を行う。その結果、0.65万のパラメータでトレーニングしたトランスフォーマーは、より高速なトレーニング速度とより一般化されたメトリクスのために48.82万のパラメータでRes-CNN-BiLSTMのパフォーマンスを著しく上回っていることがわかった。
参考スコア（独自算出の注目度）: 4.2317391919680425
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The task of text classification using Bidirectional based LSTM architectures is computationally expensive and time consuming to train. For this, transformers were discovered which effectively give good performance as compared to the traditional deep learning architectures. In this paper we present a performance based comparison between simple transformer based network and Res-CNN-BiLSTM based network for cyberbullying text classification problem. The results obtained show that transformer we trained with 0.65 million parameters has significantly being able to beat the performance of Res-CNN-BiLSTM with 48.82 million parameters for faster training speeds and more generalized metrics. The paper also compares the 1-dimensional character level embedding network and 100-dimensional glove embedding network with transformer.
Abstract（参考訳）: 双方向型LSTMアーキテクチャを用いたテキスト分類のタスクは、計算コストが高く、訓練に時間がかかる。そのため、従来のディープラーニングアーキテクチャに比べて優れたパフォーマンスを実現するトランスフォーマーが発見された。本稿では,テキスト分類問題に対する単純なトランスフォーマーネットワークとRes-CNN-BiLSTMベースのネットワークの性能比較を行う。その結果,0.65mのパラメータでトレーニングしたトランスフォーマは,48.82mのパラメータでres-cnn-bilstmの性能を上回って,より高速なトレーニング速度とより汎用的なメトリクスを得ることができた。また, 1次元文字レベル埋め込みネットワークと100次元グローブ埋め込みネットワークをトランスフォーマーと比較した。

関連論文リスト

MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
論文参考訳（メタデータ） (2024-05-25T03:24:32Z)
Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
論文参考訳（メタデータ） (2024-02-23T19:34:06Z)
RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文参考訳（メタデータ） (2023-05-22T13:57:41Z)
Image Classification using Sequence of Pixels [3.04585143845864]
本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
論文参考訳（メタデータ） (2022-09-23T09:42:44Z)
On the Prediction Network Architecture in RNN-T for ASR [1.7262456746016954]
一般的なコンフォーマーエンコーダをベースとした4種類の予測ネットワークを比較した。スコアボードにインスパイアされた新しい単純な予測ネットワークアーキテクチャであるN-Concatを提案する。
論文参考訳（メタデータ） (2022-06-29T13:11:46Z)
TRT-ViT: TensorRT-oriented Vision Transformer [19.173764508139016]
RT指向トランスフォーマーのファミリが提示され、略称はRT-ViTである。大規模な実験により、RTT-ViTは既存のConvNetとビジョントランスフォーマーを著しく上回っている。
論文参考訳（メタデータ） (2022-05-19T14:20:25Z)
Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
論文参考訳（メタデータ） (2022-03-15T06:52:25Z)
Container: Context Aggregation Network [83.12004501984043]
最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
論文参考訳（メタデータ） (2021-06-02T18:09:11Z)
Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文参考訳（メタデータ） (2021-05-17T02:39:22Z)
Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。 6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
論文参考訳（メタデータ） (2020-07-13T09:19:34Z)
Leveraging Text Data Using Hybrid Transformer-LSTM Based End-to-End ASR in Transfer Learning [37.55706646713447]
低リソースのエンドツーエンドASRを改善するために,Transformer-LSTMをベースとしたハイブリッドアーキテクチャを提案する。我々は、限られたラベル付きデータと大量の余分なテキストを含む社内マレーコーパスで実験を行う。全体として、最高のモデルでは、Vanilla Transformer ASRを11.9%向上させています。
論文参考訳（メタデータ） (2020-05-21T00:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。