論文の概要: Offensive Language Identification in Low-resourced Code-mixed Dravidian languages using Pseudo-labeling

• arxiv url: http://arxiv.org/abs/2108.12177v1
• Date: Fri, 27 Aug 2021 08:43:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-30 17:48:58.162897
• Title: Offensive Language Identification in Low-resourced Code-mixed Dravidian languages using Pseudo-labeling
• Title（参考訳）: Pseudo-labeling を用いた低リソースコード混合ドラヴィダ言語における攻撃言語同定
• Authors: Adeep Hande, Karthik Puranik, Konthala Yasaswini, Ruba Priyadharshini, Sajeetha Thavareesan, Anbukkarasi Sampath, Kogilavani Shanmugavadivel, Durairaj Thenmozhi, Bharathi Raja Chakravarthi
• Abstract要約: 我々は、タミル語、カナダ語、マラヤラム語のドラヴィダ語で、コードミックスされたソーシャルメディアコメント/ポストを分類する。 カスタムデータセットは、コードミキシングされたすべてのテキストをそれぞれのDravidian言語に翻訳することで構築される。 新たに構築されたデータセット上で、最近トレーニング済みの言語モデルをいくつか微調整する。
• 参考スコア（独自算出の注目度）: 0.16252563723817934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social media has effectively become the prime hub of communication and digital marketing. As these platforms enable the free manifestation of thoughts and facts in text, images and video, there is an extensive need to screen them to protect individuals and groups from offensive content targeted at them. Our work intends to classify codemixed social media comments/posts in the Dravidian languages of Tamil, Kannada, and Malayalam. We intend to improve offensive language identification by generating pseudo-labels on the dataset. A custom dataset is constructed by transliterating all the code-mixed texts into the respective Dravidian language, either Kannada, Malayalam, or Tamil and then generating pseudo-labels for the transliterated dataset. The two datasets are combined using the generated pseudo-labels to create a custom dataset called CMTRA. As Dravidian languages are under-resourced, our approach increases the amount of training data for the language models. We fine-tune several recent pretrained language models on the newly constructed dataset. We extract the pretrained language embeddings and pass them onto recurrent neural networks. We observe that fine-tuning ULMFiT on the custom dataset yields the best results on the code-mixed test sets of all three languages. Our approach yields the best results among the benchmarked models on Tamil-English, achieving a weighted F1-Score of 0.7934 while scoring competitive weighted F1-Scores of 0.9624 and 0.7306 on the code-mixed test sets of Malayalam-English and Kannada-English, respectively.
• Abstract（参考訳）: ソーシャルメディアは、コミュニケーションとデジタルマーケティングの主要なハブとなっている。 これらのプラットフォームは、テキスト、画像、ビデオにおける思考や事実の無料表示を可能にするため、個人やグループを攻撃的なコンテンツから保護するために、それらをスクリーニングする必要がある。 我々の研究は、タミル語、カナダ語、マラヤラム語のドラヴィダ語で、コードミックスされたソーシャルメディアコメント/ポストを分類することを目的としています。 データセット上で擬似ラベルを生成することにより,攻撃的言語識別を改善する。 カスタムデータセットは、コードミキシングされたテキストをカナダ語、マラヤラム語、タミル語の各ドラヴィダ語に翻訳し、翻訳されたデータセットの擬似ラベルを生成する。 2つのデータセットは、生成された擬似ラベルを使って組み合わせられ、CMTRAと呼ばれるカスタムデータセットを生成する。 Dravidian言語はリソース不足のため、我々のアプローチは言語モデルのトレーニングデータの量を増やします。 新たに構築したデータセット上で,最近の事前学習言語モデルを微調整する。 事前訓練された言語埋め込みを抽出し、繰り返しニューラルネットワークに渡す。 カスタムデータセット上の微調整 ULMFiT は、3つの言語のコード混合テストセット上で最高の結果が得られることを観察する。 提案手法は,マラヤラム・イングリッシュとカナダ・イングリッシュのコード混合試験セットでそれぞれ0.9624と0.7306の競合重み付きF1スコアをそれぞれ獲得し,重み付きF1スコアの0.7934を達成した。

関連論文リスト

• Offensive Language Identification in Transliterated and Code-Mixed Bangla [29.30985521838655]
  本稿では,翻訳とコードミキシングによるテキスト中の攻撃的言語識別について検討する。 TB-OLID(TB-OLID)は,5000のコメントを手動で書き起こした,バングラの攻撃的言語データセットである。 我々はTB-OLIDで機械学習モデルを訓練し、微調整を行い、このデータセットで結果を評価する。
  論文  参考訳（メタデータ） (2023-11-25T13:27:22Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Prompting Multilingual Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages [47.78634360870564]
  東南アジア7言語(SEA)のコードミキシングデータ生成のための多言語モデルの構築について検討する。 BLOOMZのような多言語学習モデルでは、異なる言語からフレーズや節でテキストを生成できないことが判明した。 ChatGPTは、コード混合テキストの生成において矛盾する機能を示しており、そのパフォーマンスはプロンプトテンプレートと言語ペアリングによって異なる。
  論文  参考訳（メタデータ） (2023-03-23T18:16:30Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Transformer-based Model for Word Level Language Identification in Code-mixed Kannada-English Texts [55.41644538483948]
  コードミキシングしたカンナダ英語テキストにおける単語レベル言語識別のためのトランスフォーマーベースモデルを提案する。 The proposed model on the CoLI-Kenglish dataset achieves a weighted F1-score of 0.84 and a macro F1-score of 0.61。
  論文  参考訳（メタデータ） (2022-11-26T02:39:19Z)
• Challenge Dataset of Cognates and False Friend Pairs from Indian Languages [54.6340870873525]
  コニャートは異なる言語で同じテキストの複数の変種に存在する。 本稿では,12言語を対象とした2つのコグネートデータセットの作成について述べる。
  論文  参考訳（メタデータ） (2021-12-17T14:23:43Z)
• IIITT@Dravidian-CodeMix-FIRE2021: Transliterate or translate? Sentiment analysis of code-mixed text in Dravidian languages [0.0]
  本研究は,カナダ語,タミル語,マラヤラム語において,コードミキシングによるソーシャルメディアコメントの感情分析という形で,この研究に小さな貢献をしている。 FIRE 2021でDravidian-CodeMix氏が行った共有タスクの作業について説明している。 結果は,タミル,カナダ,マラヤラムの各タスクにおいて,最良モデルが4位,第5位,第10位であった研究論文に記録されている。
  論文  参考訳（メタデータ） (2021-11-15T16:57:59Z)
• PSG@HASOC-Dravidian CodeMixFIRE2021: Pretrained Transformers for Offensive Language Identification in Tanglish [0.0]
  本稿では,Dravidian-Codemix-HASOC2021: Hate Speech and Offensive Language Identification in Dravidian Languageについて述べる。 本課題は,ソーシャルメディアから収集したDravidian言語における,コードミキシングされたコメント・ポスト中の攻撃的コンテンツを特定することを目的とする。
  論文  参考訳（メタデータ） (2021-10-06T15:23:40Z)
• DravidianCodeMix: Sentiment Analysis and Offensive Language Identification Dataset for Dravidian Languages in Code-Mixed Text [0.9738927161150494]
  データセットは、タミル語で約44,000のコメント、カナダ語で約7000のコメント、マラヤ語で約20,000のコメントで構成されている。 このデータはボランティアアノテータによって手動で注釈付けされ、クリッペンドルフのアルファ版では高いアノテータ間合意が結ばれている。
  論文  参考訳（メタデータ） (2021-06-17T13:13:26Z)
• indicnlp@kgp at DravidianLangTech-EACL2021: Offensive Language Identification in Dravidian Languages [0.0]
  この論文は、チーム indicnlp@kgp の EACL 2021 共有タスク「ドラヴィディアン言語における言語識別効果」への提出を提示する。 このタスクは、異なる攻撃的コンテンツタイプを3つのコード混合Dravidian言語データセットに分類することを目的としている。 マラヤラム英語,タミル英語,カナダ英語のデータセットでは,平均F1スコア0.97,0.77,0.72が達成された。
  論文  参考訳（メタデータ） (2021-02-14T13:24:01Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。