論文の概要: Benchmarking POS Tagging for the Tajik Language: A Comparative Study of Neural Architectures on the TajPersParallel Corpus
- arxiv url: http://arxiv.org/abs/2605.04576v1
- Date: Wed, 06 May 2026 07:26:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.698904
- Title: Benchmarking POS Tagging for the Tajik Language: A Comparative Study of Neural Architectures on the TajPersParallel Corpus
- Title（参考訳）: Tajik言語におけるPOSタグのベンチマーク:TajPersParallel Corpusにおけるニューラルネットワークの比較検討
- Authors: Mullosharaf K. Arabov,
- Abstract要約: 本稿では,タジク語のPOSタグ付け作業における最初のベンチマークについて述べる。
TajPersParallel corpusは、約44,000の辞書エントリからなる並列語彙資源である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents the first benchmark for the task of automatic part-of-speech (POS) tagging for the Tajik language. Despite the existence of multilingual language models demonstrating high effectiveness for many of the world's languages, their capacity for grammatical analysis of Tajik has remained unexplored until now. The aim of this study is to fill this gap through a systematic comparison of classical neural network architectures and modern multilingual transformers. Experiments were conducted on the TajPersParallel corpus, a parallel lexical resource comprising approximately 44,000 dictionary entries. Due to the absence of full-fledged example sentences in the current version of the corpus, the task was performed at the level of isolated lexical units, representing a challenging case of context-independent classification. The study compares the following architectures: a recurrent BiLSTM-CRF model, as well as multilingual models XLM-RoBERTa (large), mBERT, ParsBERT (Persian), and ruBERT (Russian), adapted using the parameter-efficient fine-tuning method LoRA. The testing results showed that the best performance is achieved by the mBERT + LoRA model (macro F1-score = 0.11, weighted F1-score = 0.62). It was established that in the absence of syntactic context, all models experience significant difficulty in resolving morphological ambiguity, successfully classifying primarily high-frequency classes ("noun," "adjective") while demonstrating zero effectiveness for rare function words. Zero-shot evaluation revealed the greatest typological proximity of Tajik to Persian (ParsBERT) and Russian (ruBERT). The obtained results form a foundation for further research and development in the field of automatic processing of the Tajik language.
- Abstract（参考訳）: 本稿では,タジク語のPOSタグ付け作業における最初のベンチマークについて述べる。
世界の多くの言語に高い有効性を示す多言語言語モデルが存在するにもかかわらず、タジク語の文法解析能力はいまだに解明されていない。
本研究の目的は,従来のニューラルネットワークアーキテクチャと現代の多言語変換器を体系的に比較することで,このギャップを埋めることである。
TajPersParallel corpusは、約44,000の辞書エントリからなる並列語彙資源である。
コーパスの現在バージョンに完全な例文が存在しないため,独立した語彙単位のレベルでタスクが実行され,文脈に依存しない分類が困難であった。
繰り返しBiLSTM-CRFモデルとマルチリンガルモデルXLM-RoBERTa(大規模)、mBERT、ParsBERT(ペルシアン)、ruBERT(ロシア)を比較し、パラメータ効率のよい微調整法LoRAを応用した。
実験の結果、最高の性能はmBERT + LoRAモデル(macro F1-score = 0.11, weighted F1-score = 0.62)によって達成された。
統語的文脈がなければ、全てのモデルが形態的曖昧性の解消に重大な困難を経験し、主に高周波クラス(名詞、形容詞)の分類に成功し、希少な関数語に対して効果を示さなかったことが判明した。
ゼロショット評価では、タジク語がペルシャ語(ParsBERT)とロシア語(ruBERT)に最も近いことが判明した。
得られた結果は,タジク語の自動処理分野におけるさらなる研究・開発の基礎を形成している。
関連論文リスト
- A RoBERTa-Based Functional Syntax Annotation Model for Chinese Texts [0.0]
本研究では,RoBERTaをベースとした中国語の構文構文モデルを提案する。
この研究は、ピープルズ・デイリー2014コーパスから4100の文をランダムに選択し、機能構文理論に基づいて注釈付けした。
このモデルは、主語(S)、主語(M)、補語(Complement)などの中核的な構文要素を同定する上で優れた性能を示した。
論文 参考訳（メタデータ） (2025-09-04T09:27:40Z) - Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。
この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。
さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
論文 参考訳（メタデータ） (2025-05-24T12:31:27Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳（メタデータ） (2023-07-16T15:18:25Z) - T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text
Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。
本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:33:22Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual
Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。
ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。
多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文 参考訳（メタデータ） (2022-10-13T13:32:36Z) - KinyaBERT: a Morphology-aware Kinyarwanda Language Model [1.2183405753834562]
教師なしサブワードトークン化法は、形態的にリッチな言語を扱うのに最適である。
本稿では, 形態素解析を応用し, 構造的構成性を明確に表現する, 単純かつ効果的な2層BERTアーキテクチャを提案する。
提案手法を低リソース形態素に富んだKinyaarwanda言語上で評価し,モデルアーキテクチャKinyaBERTを命名した。
論文 参考訳（メタデータ） (2022-03-16T08:36:14Z) - An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。
二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。
より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
論文 参考訳（メタデータ） (2022-01-23T22:00:54Z) - An Attention Ensemble Approach for Efficient Text Classification of
Indian Languages [0.0]
本稿では,インド・デヴァナガリ文字を母語とするマラーティー語における短文文書の細かな技術領域識別について述べる。
畳み込みニューラルネットワークが生成する中間文表現と双方向の長期記憶とを合体させ,効率的なテキスト分類を実現するcnn-bilstm注意アンサンブルモデルを提案する。
実験結果から,提案モデルが与えられたタスクにおける各種ベースライン機械学習および深層学習モデルより優れ,89.57%,f1スコア0.8875の検証精度が得られた。
論文 参考訳（メタデータ） (2021-02-20T07:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。