論文の概要: PERCEPT: A Corpus for POS Tagging and Analysis of Persian-English Code-Mixing
- arxiv url: http://arxiv.org/abs/2608.10109v1
- Date: Mon, 10 Aug 2026 18:23:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.785342
- Title: PERCEPT: A Corpus for POS Tagging and Analysis of Persian-English Code-Mixing
- Title（参考訳）: PERCEPT:ペルシャ語と英語のコードミキシングのPOSタグ付けと解析のためのコーパス
- Abstract要約: PERCEPTは、ペルシャ語と英語の大規模なコードミックスコーパスで、コードミックスされた単語にUniversal Dependencies POSタグを付けている。
我々は、複数のソーシャルメディアプラットフォームにまたがるペルシア語と英語のコードミキシングに関する、最初の包括的言語分析を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social media has become a major venue for multilingual communication, where users frequently mix multiple languages within a single utterance. Although code-mixed corpora have been developed for several language pairs, Persian-English code-mixing remains relatively underexplored. Existing Persian resources lack Universal Dependencies (UD) part-of-speech (POS) annotations for code-mixed words, limiting both linguistic analyses and the development of syntax-aware NLP models. To address this gap, we introduce PERCEPT, the first publicly available large-scale Persian-English code-mixed corpus annotated with Universal Dependencies POS tags for code-mixed words. The dataset comprises 6,800 posts collected from X, Instagram, and Digikala. We further present an LLM-assisted annotation framework that automatically assigns POS tags and document-level topics. Human evaluation demonstrates high agreement between the automatically generated annotations and gold annotations, confirming the reliability of the annotations. Using PERCEPT, we conduct the first comprehensive linguistic analysis of Persian-English code-mixing across multiple social media platforms. Our analyses reveal that nouns are the predominant category for code-mixed words, while the distributions of other POS categories vary across platforms. We further find that the positional distribution of code-mixed words is remarkably consistent across platforms, whereas the triggering effect is substantially more pronounced in Digikala. PERCEPT is publicly available at https://github.com/kalhorghazal/PERCEPT.
- Abstract（参考訳）: ソーシャルメディアは多言語コミュニケーションの主要な場所となり、ユーザーは1つの発話で複数の言語を混ぜることが多い。
コードミキシングコーパスはいくつかの言語で開発されているが、ペルシア語と英語のコードミキシングはいまだにあまり研究されていない。
既存のペルシアのリソースには、コードミキシングされた単語に対するUniversal Dependencies (UD) part-of-speech (POS)アノテーションがなく、言語分析と構文認識NLPモデルの開発を制限している。
このギャップに対処するため, PERCEPTは, コードミックス語にUniversal Dependencies POSタグをアノテートした, ペルシア語と英語の大規模コードミックスコーパスである。
データセットは、X、Instagram、Digikalaから収集された6,800のポストで構成されている。
さらに,POSタグや文書レベルのトピックを自動的に割り当てるLLM支援アノテーションフレームワークを提案する。
人間による評価は、自動生成されたアノテーションと金のアノテーションの間で高い一致を示し、アノテーションの信頼性を確認します。
PERCEPTを用いて、複数のソーシャルメディアプラットフォームにまたがるペルシア語と英語のコードミキシングの包括的言語分析を行う。
解析の結果、名詞はコードミックス語の主要なカテゴリーであり、他のPOSカテゴリーの分布はプラットフォームによって異なることがわかった。
さらに、コード混合語の位置分布はプラットフォーム間で顕著に一致しているのに対し、トリガー効果はDigikalaでは顕著に顕著である。
PERCEPTはhttps://github.com/kalhorghazal/PERCEPTで公開されている。
関連論文リスト
- MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。
イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。
この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
論文 参考訳（メタデータ） (2026-08-06T10:24:08Z) - Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders [0.9523331544264052]
我々は、並列英語、ヒンディー語、ローマ字のコード混合文の統一的な三言語コーパスを構築した。
標準モデルは英語とヒンディー語をうまく一致させるが、コード混合入力はどちらの言語にもゆるやかに結びついている。
論文 参考訳（メタデータ） (2026-03-20T09:02:38Z) - Parsing the Switch: LLM-Based UD Annotation for Complex Code-Switched and Low-Resource Languages [11.627508350795118]
BiLinguaは、コード変更されたテキストに対するUniversal Dependencies(UD)アノテーションのためのパイプラインである。
まず、スペイン語とスペイン語のGuaran'iデータのためのプロンプトベースのフレームワークを開発する。
第2に、最初のスペインのGuaran'i-parsed corpusを含む2つのデータセットをリリースします。
第3に、言語対と通信コンテキスト間のスイッチポイントの詳細な構文解析を行う。
論文 参考訳（メタデータ） (2025-06-08T20:23:57Z) - Disentangling Codemixing in Chats: The NUS ABC Codemixed Corpus [11.518751071307745]
コードミキシングは、単一の言説の中で複数の言語からの言語要素をシームレスに統合する。
著者ラベル付きで、人間の会話や関係をモデル化するのに適した公開コーパスが不足している。
本研究では,厳格なプライバシと倫理基準を維持しつつ,文脈におけるコードミキシングを理解するためのラベル付き汎用コーパスについて紹介する。
論文 参考訳（メタデータ） (2025-05-31T01:09:04Z) - COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing [1.2242530642524063]
COMI-lingUAは、ヒンディー語と英語のコード混成データセットとしては最大である。
5つのコアNLPタスクにわたる125K以上の高品質なインスタンスで構成されている。
各インスタンスには3つのバイリンガルアノテーションがアノテートされ、376K以上の専門家アノテーションが生成される。
論文 参考訳（メタデータ） (2025-03-27T16:36:39Z) - MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。
MYTEは99の言語すべてに対して短いエンコーディングを生成する。
これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
論文 参考訳（メタデータ） (2024-03-15T21:21:11Z) - A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。
英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
論文 参考訳（メタデータ） (2024-03-05T13:55:16Z) - Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [80.43859162884353]
マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。
MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。
モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
論文 参考訳（メタデータ） (2023-02-03T09:54:27Z) - A Simple and Efficient Probabilistic Language model for Code-Mixed Text [0.0]
コード混合テキストに対する効率的な単語埋め込みを構築するための単純な確率的アプローチを提案する。
双方向LSTMとSVMを用いた分類作業の有効性を検討した。
論文 参考訳（メタデータ） (2021-06-29T05:37:57Z) - Multilingual Autoregressive Entity Linking [49.35994386221958]
mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。
与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。
提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
論文 参考訳（メタデータ） (2021-03-23T13:25:55Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳（メタデータ） (2020-09-10T22:42:15Z) - ULD@NUIG at SemEval-2020 Task 9: Generative Morphemes with an Attention
Model for Sentiment Analysis in Code-Mixed Text [1.4926515182392508]
本稿では,SemEval 2020 Task 9 SentiMixに寄与したGenMAモデル感情分析システムについて述べる。
このシステムは、単語レベルの言語タグを使わずに、与えられた英語とヒンディー語を混合したツイートの感情を予測することを目的としている。
論文 参考訳（メタデータ） (2020-07-27T23:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。