論文の概要: Overcoming Low-Resource Barriers in Tulu: Neural Models and Corpus Creation for OffensiveLanguage Identification

• arxiv url: http://arxiv.org/abs/2508.11166v1
• Date: Fri, 15 Aug 2025 02:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.71606
• Title: Overcoming Low-Resource Barriers in Tulu: Neural Models and Corpus Creation for OffensiveLanguage Identification
• Title（参考訳）: ツルにおける低リソースバリアの克服--攻撃的言語識別のためのニューラルネットワークとコーパス生成
• Authors: Anusha M D, Deepthi Vikram, Bharathi Raja Chakravarthi, Parameshwar R Hegde,
• Abstract要約: 本研究では,コードミキシングされたTuluソーシャルメディアコンテンツにおけるOffensive Language Identificationのための最初のベンチマークデータセットを提案する。 我々は,GRU,LSTM,BiGRU,BiLSTM,CNN,注目に基づく変種など,一連のディープラーニングモデルを評価する。 自己注意型BiGRUモデルは82%の精度と0.81マクロF1スコアで最高の性能を達成する。
• 参考スコア（独自算出の注目度）: 0.5587293092389789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tulu, a low-resource Dravidian language predominantly spoken in southern India, has limited computational resources despite its growing digital presence. This study presents the first benchmark dataset for Offensive Language Identification (OLI) in code-mixed Tulu social media content, collected from YouTube comments across various domains. The dataset, annotated with high inter-annotator agreement (Krippendorff's alpha = 0.984), includes 3,845 comments categorized into four classes: Not Offensive, Not Tulu, Offensive Untargeted, and Offensive Targeted. We evaluate a suite of deep learning models, including GRU, LSTM, BiGRU, BiLSTM, CNN, and attention-based variants, alongside transformer architectures (mBERT, XLM-RoBERTa). The BiGRU model with self-attention achieves the best performance with 82% accuracy and a 0.81 macro F1-score. Transformer models underperform, highlighting the limitations of multilingual pretraining in code-mixed, under-resourced contexts. This work lays the foundation for further NLP research in Tulu and similar low-resource, code-mixed languages.
• Abstract（参考訳）: インド南部で主に話されている低リソースのドラヴィダ語であるTuluは、デジタル化が進んでいるにもかかわらず、計算資源が限られている。 本研究では,様々な領域にわたるYouTubeコメントから収集したコード混成のTuluソーシャルメディアコンテンツにおいて,Offensive Language Identification (OLI) のための最初のベンチマークデータセットを提示する。 ハイアノテータ契約(クリッペンドルフのα = 0.984)で注釈付けされたデータセットには、Not Offensive, Not Tulu, Offensive Untargeted, Offensive Targetedという4つのクラスに分類される3,845のコメントが含まれている。 GRU, LSTM, BiGRU, BiLSTM, CNN, および注目に基づく変種を変換器アーキテクチャ(mBERT, XLM-RoBERTa)とともに評価した。 自己注意型BiGRUモデルは82%の精度と0.81マクロF1スコアで最高の性能を達成する。 トランスフォーマーモデルは、コード混在、アンダーリソースのコンテキストにおける多言語事前学習の制限を強調する。 この研究は、Tuluや同様の低リソースのコードミックス言語におけるNLP研究の基盤となる。

関連論文リスト

• Tucano: Advancing Neural Text Generation for Portuguese [0.0]
  本研究は,ポルトガル語におけるニューラルテキスト生成の今後の発展を促進するために,新たなリソースセットを導入することを目的としている。 本研究は,ポルトガル語テキストコーパスの重複であるGigaVerboの開発について述べる。 我々のモデルは、ポルトガルのいくつかのベンチマークにおいて、同様の大きさの他のポルトガル語および多言語言語モデルと同等または優れている。
  論文  参考訳（メタデータ） (2024-11-12T15:06:06Z)
• Data-Augmentation-Based Dialectal Adaptation for LLMs [26.72394783468532]
  本稿では, GMUNLPによるVarDial 2024におけるDialect-Copa共有タスクへの参加について述べる。 この課題は、南スラヴ語のマイクロディレクト上での大規模言語モデル(LLM)の常識推論能力を評価することに焦点を当てている。 本稿では,異なるタイプの言語モデルの強みを組み合わせ,データ拡張技術を活用してタスク性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-11T19:15:32Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Offense Detection in Dravidian Languages using Code-Mixing Index based Focal Loss [1.7267596343997798]
  攻撃的内容を特定する複雑さは、複数のモダリティの使用によって悪化する。 我々のモデルは、低リソース、クラス不均衡、多言語、コード混合設定で攻撃的な言語検出を処理できる。
  論文  参考訳（メタデータ） (2021-11-12T19:50:24Z)
• Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [15.995677143912474]
  我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。 ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
  論文  参考訳（メタデータ） (2021-10-26T14:59:16Z)
• Hate-Alert@DravidianLangTech-EACL2021: Ensembling strategies for Transformer-based Offensive language Detection [5.139400587753555]
  ソーシャルメディアは、しばしば異なる種類の攻撃的コンテンツの繁殖地として機能する。 我々は、異なるトランスモデルを徹底的に探索し、異なるモデルを統合する遺伝的アルゴリズムも提供する。 タミル語では第1位,カンナダ語では第2位,マラヤラム語のサブタスクでは第1位を確保した。
  論文  参考訳（メタデータ） (2021-02-19T18:35:38Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。