論文の概要: UNITYAI-GUARD: Pioneering Toxicity Detection Across Low-Resource Indian Languages

• arxiv url: http://arxiv.org/abs/2503.23088v1
• Date: Sat, 29 Mar 2025 14:20:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:39:17.877485
• Title: UNITYAI-GUARD: Pioneering Toxicity Detection Across Low-Resource Indian Languages
• Title（参考訳）: UNITYAI-GUARD:低リソースのインド言語全体での毒性検出のパイオニア化
• Authors: Himanshu Beniwal, Reddybathuni Venkat, Rohit Kumar, Birudugadda Srivibhav, Daksh Jain, Pavan Doddi, Eshwar Dhande, Adithya Ananth, Kuldeep, Heer Kubadia, Pratham Sharda, Mayank Singh,
• Abstract要約: UnityAI-Guardは、低リソースのインド言語をターゲットにしたバイナリ毒性分類のためのフレームワークである。 このアプローチでは、7つの言語で平均84.23%のF1スコアを達成し、888kのトレーニングインスタンスと35kの手動検証テストインスタンスのデータセットを活用する。
• 参考スコア（独自算出の注目度）: 1.7569486410181172
• License:
• Abstract: This work introduces UnityAI-Guard, a framework for binary toxicity classification targeting low-resource Indian languages. While existing systems predominantly cater to high-resource languages, UnityAI-Guard addresses this critical gap by developing state-of-the-art models for identifying toxic content across diverse Brahmic/Indic scripts. Our approach achieves an impressive average F1-score of 84.23% across seven languages, leveraging a dataset of 888k training instances and 35k manually verified test instances. By advancing multilingual content moderation for linguistically diverse regions, UnityAI-Guard also provides public API access to foster broader adoption and application.
• Abstract（参考訳）: この研究は、低リソースのインド言語をターゲットにしたバイナリ毒性分類のためのフレームワークUnityAI-Guardを紹介する。 既存のシステムは、主に高リソース言語に向いているが、UnityAI-Guardは、さまざまなBrahmic/Indicスクリプト間で有毒なコンテンツを識別する最先端のモデルを開発することで、この重要なギャップに対処している。 このアプローチでは,888kのトレーニングインスタンスと35kの手作業によるテストインスタンスのデータセットを活用することで,7言語で平均84.23%のF1スコアを達成した。 言語的に多様な領域の多言語コンテンツモデレーションを進めることで、UnityAI-Guardはより広範な採用と応用を促進するために、公開APIへのアクセスも提供する。

関連論文リスト

• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages [16.121708272597154]
  インド12言語における音声認識のためのIndicSUPERBベンチマークをリリースする。 一般的に使用されているベースラインベンチマークとともに、さまざまな自己教師付きモデルをトレーニングし、評価する。 言語固有の微調整モデルはほとんどのタスクのベースラインよりも正確であることを示す。
  論文  参考訳（メタデータ） (2022-08-24T20:14:52Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• Towards Building ASR Systems for the Next Billion Users [15.867823754118422]
  インド亜大陸からの低資源言語のためのASRシステム構築に貢献する。 まず、40言語を対象に、17,000時間の生音声データをキュレートする。 この生の音声データを用いて、40のインドの言語に対して、いくつかのwav2vecスタイルモデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-11-06T19:34:33Z)
• Multilingual and code-switching ASR challenges for low resource Indian languages [59.2906853285309]
  インドの7つの言語に関連する2つのサブタスクを通じて、多言語およびコードスイッチングASRシステムの構築に重点を置いている。 これらの言語では、列車とテストセットからなる600時間分の音声データを合計で提供します。 また,マルチリンガルサブタスクとコードスイッチサブタスクのテストセットでは,それぞれ30.73%と32.45%という,タスクのベースラインレシピも提供しています。
  論文  参考訳（メタデータ） (2021-04-01T03:37:01Z)
• An Attention Ensemble Approach for Efficient Text Classification of Indian Languages [0.0]
  本稿では,インド・デヴァナガリ文字を母語とするマラーティー語における短文文書の細かな技術領域識別について述べる。 畳み込みニューラルネットワークが生成する中間文表現と双方向の長期記憶とを合体させ,効率的なテキスト分類を実現するcnn-bilstm注意アンサンブルモデルを提案する。 実験結果から,提案モデルが与えられたタスクにおける各種ベースライン機械学習および深層学習モデルより優れ,89.57%,f1スコア0.8875の検証精度が得られた。
  論文  参考訳（メタデータ） (2021-02-20T07:31:38Z)
• Coarse and Fine-Grained Hostility Detection in Hindi Posts using Fine Tuned Multilingual Embeddings [4.3012765978447565]
  敵意検出タスクは、英語のようなリソースに富む言語でよく研究されているが、Hindidueのようなリソースに制約のある言語では探索されていない。 ヒンディー語投稿における敵意検出に有効なニューラルネットワークに基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-01-13T11:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。