論文の概要: TurEngMix: A Text Corpus and Benchmark for Turkish-English Code-Mixed Language Identification and Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2609.06963v1
- Date: Mon, 07 Sep 2026 03:00:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 02:00:34.263155
- Title: TurEngMix: A Text Corpus and Benchmark for Turkish-English Code-Mixed Language Identification and Named Entity Recognition
- Title（参考訳）: TurEngMix: トルコ語と英語の言語識別と名前付きエンティティ認識のためのテキストコーパスとベンチマーク
- Abstract要約: 我々は5.5KノイズのコーパスであるTurEngMixを紹介した。
我々は、コード混合言語識別(LID)と名前付きエンティティ認識(NER)のための新しいトルコ語-英語ベンチマークを構築した。
モノリンガルなトルコ語と英語のトークンは確実にラベル付けされているが、全てのモデルはLIDとNERの混合言語トークンに対して高いエラー率を持つ。
- 参考スコア（独自算出の注目度）: 4.556167062902223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language processing systems underperform on code-mixed text, particularly for low-resource language pairs. Turkish-English poses a further challenge: it lets English stems combine with Turkish suffixes to form single mixed-language tokens. We introduce TurEngMix, a corpus of 5.5K noisy, naturally occurring social media posts (486,974 tokens) rich in Turkish-English code-mixing. From this corpus, we construct a new Turkish-English benchmark for code-mixed language identification (LID) and named entity recognition (NER), comprising 15K expert-annotated tokens. Evaluating both decoder LLM and fine-tuned encoder baselines, we find that monolingual Turkish and English tokens are labeled reliably, but all models have high error rates on mixed-language tokens for both LID and NER. For morphologically integrated tokens, NER error rates were 5.2x and 6.3x higher for GPT-4o and Qwen, respectively. This highlights how morphological integration remains a challenge. We release the corpus, annotations, and code to support future computational and sociolinguistic research on Turkish-English code-mixing.
- Abstract（参考訳）: 自然言語処理システムは、特に低リソースの言語ペアにおいて、コード混在のテキストで性能が劣る。
英語のステムとトルコ語の接尾辞を組み合わせることで、1つの混合言語トークンを作ることができる。
トルコ語と英語のコードミキシングに富んだソーシャルメディア投稿(486,974トークン)を自然発生させた5.5KノイズコーパスであるTurEngMixを紹介した。
このコーパスから、コード混合言語識別(LID)と名前付きエンティティ認識(NER)のための新しいトルコ語-英語のベンチマークを構築する。
デコーダLLMと微調整エンコーダベースラインの両方を評価すると、単言語的トルコ語と英語のトークンは確実にラベル付けされているが、全てのモデルはLIDとNERの混合言語トークンに対して高い誤り率を有する。
形態学的に統合されたトークンでは, GPT-4o と Qwen では NER の誤差率は 5.2x と 6.3x であった。
これは形態的統合がいかに課題であり続けるかを強調します。
トルコ語と英語のコードミキシングに関する将来的な計算・社会言語研究を支援するコーパス、アノテーション、コードをリリースする。
関連論文リスト
- IndicTriMix: Developing Language Identification Datasets and Models for Tri-Language Code-Mixing [3.4293055914377564]
モノリンガルテキスト用に設計された従来の言語識別モデルは、コードミックス設定におけるトークンレベルの言語識別には適していない。
我々は,タスクをシーケンスラベリング問題として定式化し,コンテキスト変換モデル MuRIL と XLM-RoBERTa を微調整する。
3言語並列文を用いたコード混合生成の2つの手法を提案する。
論文 参考訳（メタデータ） (2026-09-10T17:36:12Z) - Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders [0.9523331544264052]
我々は、並列英語、ヒンディー語、ローマ字のコード混合文の統一的な三言語コーパスを構築した。
標準モデルは英語とヒンディー語をうまく一致させるが、コード混合入力はどちらの言語にもゆるやかに結びついている。
論文 参考訳（メタデータ） (2026-03-20T09:02:38Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset [99.0507412649934]
CS-FLEURSは4つのテストセットから構成されており、52言語にまたがる113の独特な言語ペアをカバーしている。
CS-FLEURSはまた、16のX字対にわたる128時間の生成テキスト音声データのトレーニングセットも提供している。
論文 参考訳（メタデータ） (2025-09-17T16:45:22Z) - Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
自然言語処理(NLP)におけるトークン化の役割
規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。
本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
論文 参考訳（メタデータ） (2025-08-19T22:17:42Z) - Disentangling Codemixing in Chats: The NUS ABC Codemixed Corpus [11.518751071307745]
コードミキシングは、単一の言説の中で複数の言語からの言語要素をシームレスに統合する。
著者ラベル付きで、人間の会話や関係をモデル化するのに適した公開コーパスが不足している。
本研究では,厳格なプライバシと倫理基準を維持しつつ,文脈におけるコードミキシングを理解するためのラベル付き汎用コーパスについて紹介する。
論文 参考訳（メタデータ） (2025-05-31T01:09:04Z) - mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view
Contrastive Learning [54.523172171533645]
CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。
言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。
40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
論文 参考訳（メタデータ） (2023-08-17T16:02:29Z) - Prompting Multilingual Large Language Models to Generate Code-Mixed
Texts: The Case of South East Asian Languages [47.78634360870564]
東南アジア7言語(SEA)のコードミキシングデータ生成のための多言語モデルの構築について検討する。
BLOOMZのような多言語学習モデルでは、異なる言語からフレーズや節でテキストを生成できないことが判明した。
ChatGPTは、コード混合テキストの生成において矛盾する機能を示しており、そのパフォーマンスはプロンプトテンプレートと言語ペアリングによって異なる。
論文 参考訳（メタデータ） (2023-03-23T18:16:30Z) - Transformer-based Model for Word Level Language Identification in
Code-mixed Kannada-English Texts [55.41644538483948]
コードミキシングしたカンナダ英語テキストにおける単語レベル言語識別のためのトランスフォーマーベースモデルを提案する。
The proposed model on the CoLI-Kenglish dataset achieves a weighted F1-score of 0.84 and a macro F1-score of 0.61。
論文 参考訳（メタデータ） (2022-11-26T02:39:19Z) - SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language
Model Pretraining [48.880840711568425]
事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。
本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。
SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
論文 参考訳（メタデータ） (2021-06-01T11:20:02Z) - Evaluating Input Representation for Language Identification in
Hindi-English Code Mixed Text [4.4904382374090765]
コードミックステキストは複数の言語で書かれたテキストからなる。
人は自然に現地の言語と英語のようなグローバルな言語を組み合わせる傾向がある。
本研究では,ヒンディー語と英語の混成テキストのコード混成文における言語識別に着目した。
論文 参考訳（メタデータ） (2020-11-23T08:08:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。