論文の概要: COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing

• arxiv url: http://arxiv.org/abs/2503.21670v2
• Date: Thu, 05 Jun 2025 04:46:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 16:56:39.484413
• Title: COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing
• Title（参考訳）: COMI-lingUA:Hindi- English Code-MixingにおけるマルチタスクNLPのためのエキスパートアノテーション付き大規模データセット
• Authors: Rajvee Sheth, Himanshu Beniwal, Mayank Singh,
• Abstract要約: COMI-lingUAは、ヒンディー語と英語のコード混成データセットとしては最大である。 5つのコアNLPタスクにわたる125K以上の高品質なインスタンスで構成されている。 各インスタンスには3つのバイリンガルアノテーションがアノテートされ、376K以上の専門家アノテーションが生成される。
• 参考スコア（独自算出の注目度）: 1.3062731746155414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce COMI-LINGUA, the largest manually annotated Hindi-English code-mixed dataset, comprising 125K+ high-quality instances across five core NLP tasks: Matrix Language Identification, Token-level Language Identification, POS Tagging, Named Entity Recognition (NER), and Machine Translation. Each instance is annotated by three bilingual annotators, yielding over 376K expert annotations with strong inter-annotator agreement (Fleiss' Kappa $\geq$ 0.81). The rigorously preprocessed and filtered dataset covers both Devanagari and Roman scripts and spans diverse domains, ensuring real-world linguistic coverage. Evaluation reveals that closed-source LLMs significantly outperform traditional tools and open-source models. Notably, one-shot prompting consistently boosts performance across tasks, especially in structure-sensitive predictions like POS and NER, highlighting the effectiveness of prompt-based adaptation in code-mixed, low-resource settings. COMI-LINGUA is publicly available at: https://github.com/lingo-iitgn/CodeMixing_Project.
• Abstract（参考訳）: 我々は,5つのコアNLPタスク(マトリックス言語識別,トークンレベル言語識別,POSタグ付け,名前付きエンティティ認識(NER),機械翻訳)にわたる125K以上の高品質なインスタンスを含む,ヒンディー語と英語のコード混合データセットとして最大規模のCOMI-lingUAを紹介する。 各インスタンスは3つのバイリンガルアノテータによってアノテートされ、376K以上の専門家アノテーションと強いアノテータ間合意が結ばれている(Fleiss' Kappa $\geq$ 0.81)。 厳格に前処理され、フィルターされたデータセットは、デヴァナガリとローマのスクリプトの両方をカバーし、さまざまなドメインにまたがって、現実世界の言語的カバレッジを保証する。 クローズドソースのLLMは従来のツールやオープンソースモデルよりも大幅に優れています。 特にPOSやNERのような構造に敏感な予測では、ワンショットプロンプトはタスク全体のパフォーマンスを継続的に向上させ、コード混在の低リソース設定におけるプロンプトベースの適応の有効性を強調している。 COMI-lingUAは、https://github.com/lingo-iitgn/CodeMixing_Projectで公開されている。

関連論文リスト

• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Leveraging Language Identification to Enhance Code-Mixed Text Classification [0.7340017786387767]
  既存のディープラーニングモデルは、コード混合テキストの暗黙の言語情報を活用できない。 本研究の目的は,低リソースのCode-Mixed Hindi- Englishデータセット上でのBERTモデルの性能向上である。
  論文  参考訳（メタデータ） (2023-06-08T06:43:10Z)
• XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
  データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
  論文  参考訳（メタデータ） (2023-05-19T18:00:03Z)
• Prompting Multilingual Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages [47.78634360870564]
  東南アジア7言語(SEA)のコードミキシングデータ生成のための多言語モデルの構築について検討する。 BLOOMZのような多言語学習モデルでは、異なる言語からフレーズや節でテキストを生成できないことが判明した。 ChatGPTは、コード混合テキストの生成において矛盾する機能を示しており、そのパフォーマンスはプロンプトテンプレートと言語ペアリングによって異なる。
  論文  参考訳（メタデータ） (2023-03-23T18:16:30Z)
• MUTANT: A Multi-sentential Code-mixed Hinglish Dataset [16.14337612590717]
  本稿では,多言語記事から多文コード混合テキスト(MCT)を識別する新しいタスクを提案する。 ユースケースとして、多言語の記事を活用し、第一級の多文コード混合Hinglishデータセットを構築します。 MUTANTデータセットは67kの記事と85kのHinglish MCTからなる。
  論文  参考訳（メタデータ） (2023-02-23T04:04:18Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• NUIG-Shubhanker@Dravidian-CodeMix-FIRE2020: Sentiment Analysis of Code-Mixed Dravidian text using XLNet [0.0]
  ソーシャルメディアは多言語社会に浸透してきたが、その多くは英語をコミュニケーションの言語として好んでいる。 会話中に文化的な言語と英語を混ぜることで、多言語データが多くなり、今日の世界で利用できるこのコード混在データと呼ぶのは自然なことです。 このようなデータを用いた下流NLPタスクは、複数の言語にまたがるセマンティックな性質のため、難しい。 本稿では,自動回帰XLNetモデルを用いて,タミル・イングリッシュとマラヤラム・イングリッシュ・データセットの感情分析を行う。
  論文  参考訳（メタデータ） (2020-10-15T14:09:02Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)
• Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity [67.36239720463657]
  Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。 各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。 言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
  論文  参考訳（メタデータ） (2020-03-10T17:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。