論文の概要: Attention based Bidirectional GRU hybrid model for inappropriate content detection in Urdu language
- arxiv url: http://arxiv.org/abs/2501.09722v1
- Date: Thu, 16 Jan 2025 18:10:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:11:34.631316
- Title: Attention based Bidirectional GRU hybrid model for inappropriate content detection in Urdu language
- Title（参考訳）: 意図に基づく双方向GRUハイブリッドモデルによるウルドゥー語における不適切なコンテンツ検出
- Authors: Ezzah Shoukat, Rabia Irfan, Iqra Basharat, Muhammad Ali Tahir, Sameen Shaukat,
- Abstract要約: 本研究では,Urdu Unicodeテキスト言語における不適切なコンテンツを特定するために,注目に基づく双方向GRUハイブリッドモデルを提案する。
提案したモデルBiGRU-Aは,事前学習したワード2Vec層を使わずに84%の精度で他のベースラインモデルよりも優れていた。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: With the increased use of the internet and social networks for online discussions, the spread of toxic and inappropriate content on social networking sites has also increased. Several studies have been conducted in different languages. However, there is less work done for South Asian languages for inappropriate content identification using deep learning techniques. In Urdu language, the spellings are not unique, and people write different common spellings for the same word, while mixing it other languages, like English in the text makes it more challenging, and limited research work is available to process such language with the finest algorithms. The use of attention layer with a deep learning model can help handling the long-term dependencies and increase its efficiency . To explore the effects of the attention layer, this study proposes attention-based Bidirectional GRU hybrid model for identifying inappropriate content in Urdu Unicode text language. Four different baseline deep learning models; LSTM, Bi-LSTM, GRU, and TCN, are used to compare the performance of the proposed model. The results of these models were compared based on evaluation metrics, dataset size, and impact of the word embedding layer. The pre-trained Urdu word2Vec embeddings were utilized for our case. Our proposed model BiGRU-A outperformed all other baseline models by yielding 84\% accuracy without using pre-trained word2Vec layer. From our experiments, we have established that the attention layer improves the model's efficiency, and pre-trained word2Vec embedding does not work well with an inappropriate content dataset.
- Abstract（参考訳）: オンライン議論におけるインターネットやソーシャルネットワークの利用の増加に伴い、ソーシャルネットワークサイトにおける有害コンテンツや不適切なコンテンツの拡散も増加している。
様々な言語で研究が行われている。
しかし、深層学習技術を用いた不適切なコンテンツ識別のための南アジア語に対する作業は少ない。
ウルドゥー語では、綴りはユニークではなく、人々が同じ単語のために異なる共通綴りを書く一方で、英語をテキストに混ぜるなど、他の言語の方が難易度が高く、そのような言語を最も優れたアルゴリズムで処理するための限られた研究作業が利用可能である。
ディープラーニングモデルによる注意層の利用は、長期的な依存関係の扱いと効率の向上に役立つ。
注意層の効果を探索するため,Urdu Unicodeテキスト言語における不適切なコンテンツを特定するために,注目に基づく双方向GRUハイブリッドモデルを提案する。
提案モデルの性能比較には, LSTM, Bi-LSTM, GRU, TCNの4種類のベースライン深層学習モデルを用いる。
これらのモデルの結果は、評価指標、データセットサイズ、単語埋め込み層の影響に基づいて比較された。
プレトレーニングしたUrduワード2Vec埋め込みを症例に利用した。
提案モデルであるBiGRU-Aは,事前学習したワード2Vec層を使わずに,84 %の精度で他のベースラインモデルよりも優れていた。
実験の結果,注目層はモデルの効率を向上し,事前学習した word2Vec 埋め込みは不適切なコンテンツデータセットではうまく動作しないことがわかった。
関連論文リスト
- The Impact of Model Scaling on Seen and Unseen Language Performance [2.012425476229879]
本研究では204言語にわたる多言語大言語モデルの性能とスケーリングの挙動について検討する。
その結果,ゼロショットシナリオと2ショットシナリオのスケーリング挙動に有意な差が認められた。
2ショット設定では、より大きなモデルは多言語テキスト分類において明確な線形改善を示す。
論文 参考訳（メタデータ） (2025-01-10T00:10:21Z) - Exploring transfer learning for Deep NLP systems on rarely annotated languages [0.0]
本論文はヒンディー語とネパール語間のPOSタグ付けにおける移動学習の適用について考察する。
ヒンディー語におけるマルチタスク学習において,ジェンダーや単数/複数タグ付けなどの補助的なタスクがPOSタグ付け精度の向上に寄与するかどうかを評価する。
論文 参考訳（メタデータ） (2024-10-15T13:33:54Z) - Leveraging Language Identification to Enhance Code-Mixed Text
Classification [0.7340017786387767]
既存のディープラーニングモデルは、コード混合テキストの暗黙の言語情報を活用できない。
本研究の目的は,低リソースのCode-Mixed Hindi- Englishデータセット上でのBERTモデルの性能向上である。
論文 参考訳（メタデータ） (2023-06-08T06:43:10Z) - ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for
Scene Text Spotting [121.11880210592497]
言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。
シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
論文 参考訳（メタデータ） (2022-11-19T03:50:33Z) - Exploring Dimensionality Reduction Techniques in Multilingual
Transformers [64.78260098263489]
本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。
これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
論文 参考訳（メタデータ） (2022-04-18T17:20:55Z) - Neural Models for Offensive Language Detection [0.0]
攻撃的言語検出は、成長を続ける自然言語処理(NLP)アプリケーションである。
このような有害なコンテンツと戦うために、さまざまな機械学習モデルの改善と比較に貢献することが、この論文の重要な、挑戦的な目標である、と私たちは信じています。
論文 参考訳（メタデータ） (2021-05-30T13:02:45Z) - Read Like Humans: Autonomous, Bidirectional and Iterative Language
Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。
エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。
シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文 参考訳（メタデータ） (2021-03-11T06:47:45Z) - Learning Contextualised Cross-lingual Word Embeddings and Alignments for
Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。
本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文 参考訳（メタデータ） (2020-10-27T22:24:01Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。