論文の概要: Character-Level Transformer for Tajik-Persian Transliteration with a Parallel Lexical Corpus
- arxiv url: http://arxiv.org/abs/2605.09092v1
- Date: Sat, 09 May 2026 17:57:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 02:24:05.517669
- Title: Character-Level Transformer for Tajik-Persian Transliteration with a Parallel Lexical Corpus
- Title（参考訳）: 並列語彙コーパスを用いたタジク・ペルシアン文字変換のための文字レベル変換器
- Abstract要約: 本研究は、タジク文字からペルシア文字(ペルソ・アラビア文字)への自動翻訳について述べる。
本稿では,52,152個のタジク語,ペルシャ語,短文の並列コーパスについて検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study addresses automatic transliteration from Tajik (Cyrillic script) to Persian (Perso-Arabic script). We present a curated, lexicographically verified parallel corpus of 52,152 Tajik--Persian words and short phrases, compiled from printed dictionaries, encyclopedic sources, and manually verified online resources. To the best of our knowledge, this is one of the largest publicly available word-level corpora for Tajik--Persian transliteration. Using this corpus, we train a character-level sequence-to-sequence Transformer model and evaluate it using Character Error Rate (CER) and exact-match accuracy. The Transformer achieves a CER of 0.3216 and an exact-match accuracy of 0.3133, outperforming both dictionary-based rule-based and recurrent neural baselines. With beam search (k=3), performance further improves to CER 0.3182 and accuracy 0.3215. We describe the data collection and preprocessing pipeline, model architecture, and experimental protocol, and report a part-of-speech analysis showing performance differences across lexical categories. All preprocessing scripts, deterministic splits into training, validation, and test sets, and training configurations are released to support reproducibility and further research on Tajik and related Persian dialects. The corpus supports research in character-level transliteration, cross-script NLP, and lexicographic applications.
- Abstract（参考訳）: 本研究では,タジク文字からペルシア文字(ペルソ・アラビア文字)への自動翻訳について述べる。
本稿では,印刷辞書,百科事典,手作業によるオンラインリソースから編集した,52,152個のタジク語・短文の並列コーパスについて述べる。
我々の知る限りでは、これはタジク語-ペルシャ語音訳のための最大公用単語レベルのコーパスの1つである。
このコーパスを用いて,文字レベルのシーケンス・ツー・シーケンス・トランスフォーマモデルを訓練し,文字誤り率(CER)と正確なマッチング精度を用いて評価する。
Transformer は CER が 0.3216 であり、精度は 0.3133 であり、辞書ベースの規則ベースと繰り返しの神経ベースラインの両方を上回っている。
ビームサーチ(k=3)により、CER 0.3182 と精度 0.3215 がさらに向上する。
本稿では,データ収集および前処理パイプライン,モデルアーキテクチャ,実験プロトコルについて述べる。
すべての前処理スクリプト、決定論的分割をトレーニング、検証、テストセットに分割し、再現性をサポートし、タジク語と関連ペルシア語の方言についてさらなる研究を行うためのトレーニング構成をリリースしている。
コーパスは文字レベルの翻訳、クロススクリプトNLP、レキソグラフィーの応用の研究を支援する。
関連論文リスト
- TajPersLexon: A Tajik-Persian Lexical Resource and Hybrid Model for Cross-Script Low-Resource NLP [0.0]
この研究はTajPersLexonを紹介した。Tajik-Persian並列語彙資源は40,112ワードとショートフレーズ対である。
i) 軽量ハイブリッドパイプライン, (ii) ニューラルシークエンス・ツー・シーケンスモデル, (iii) 検索手法の3つの手法を比較検討した。
評価の結果、この課題は基本的に解決可能であり、ニューラルネットワークと検索ベースラインが98-99%のトップ1精度を実現していることがわかった。
論文 参考訳（メタデータ） (2026-05-07T19:37:34Z) - ASCAT: An Arabic Scientific Corpus and Benchmark for Advanced Translation Evaluation [1.730057408524355]
ASCATは、平均141.7語(英語)と111.78語(アラビア語)の科学的な要約を対象とする。
各抽象化は、3つの補完的生成AI(Gemini)、トランスフォーマーベースモデル(Hugging Face texttquickmt-en-ar)、商用MT API(Google Translate、DeepL)を使用して翻訳された。
その結果得られたコーパスには67,293の英語のトークンと60,026のアラビア語のトークンが含まれており、アラビア語の語彙は17,604で、言語の形態的豊かさを反映している。
論文 参考訳（メタデータ） (2026-03-10T18:41:52Z) - AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3 [4.284434049360481]
本稿では、SentencePiece Unigramアルゴリズム上に構築されたアラビア最適化トークンであるAraTokenを紹介する。
正常化したSentencePieceは、非正規化ベースラインに比べて18%低い受精率(1.199対1.35トークン/ワード)を達成することを示す。
実験の結果,LEPは100Kアラビアサンプルの800段階において,評価損失を8.28から2.43に減少させることがわかった。
論文 参考訳（メタデータ） (2025-12-20T15:32:10Z) - Idiom Detection in Sorani Kurdish Texts [1.174020933567308]
本研究は,Sorani Kurdishにおける深層学習技術を用いたテキスト分類タスクとしてアプローチすることで,検出に対処する。
我々は、KuBERTベースのトランスフォーマーシーケンス分類、RCNN(Recurrent Convolutional Neural Network)、注意機構を備えたBiLSTMモデルという3つのディープラーニングモデルを開発し、評価した。
評価の結果,変圧器モデルである細調整BERTが他のモデルより一貫して優れており,精度は99%近くであった。
論文 参考訳（メタデータ） (2025-01-24T14:31:30Z) - GECTurk: Grammatical Error Correction and Detection Dataset for Turkish [1.804922416527064]
文法的誤り検出・訂正(GEC)ツールは、母語話者と第二言語学習者にとって有用であることが証明されている。
合成データ生成は、そのようなデータの不足を克服するための一般的なプラクティスである。
トルコ語のためのフレキシブルで総合的なデータ生成パイプラインを提案し、20以上の専門家による文法と綴り規則をカバーしている。
論文 参考訳（メタデータ） (2023-09-20T14:25:44Z) - T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text
Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。
本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:33:22Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳（メタデータ） (2022-05-23T16:47:37Z) - ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality
Estimation and Corrective Feedback [70.5469946314539]
ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。
統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
論文 参考訳（メタデータ） (2021-07-30T17:58:54Z) - Consecutive Decoding for Speech-to-text Translation [51.155661276936044]
COnSecutive Transcription and Translation (COSTT)は、音声からテキストへの翻訳に不可欠な手法である。
鍵となるアイデアは、ソースの書き起こしとターゲットの翻訳テキストを1つのデコーダで生成することである。
本手法は3つの主流データセットで検証する。
論文 参考訳（メタデータ） (2020-09-21T10:10:45Z) - 2kenize: Tying Subword Sequences for Chinese Script Conversion [54.33749520569979]
本稿では,2つのスクリプト間のマッピングと変換をあいまいにできるモデルを提案する。
提案手法は,従来の漢字変換手法よりも精度が6ポイント向上した。
論文 参考訳（メタデータ） (2020-05-07T10:53:05Z) - Multilingual Alignment of Contextual Word Representations [49.42244463346612]
BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。
単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。
これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
論文 参考訳（メタデータ） (2020-02-10T03:27:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。