論文の概要: A Systematic Benchmark of Machine Transliteration Models for the Tajik-Farsi Language Pair: A Comparative Study from Rule-Based to Transformer Architectures

• arxiv url: http://arxiv.org/abs/2605.02270v1
• Date: Mon, 04 May 2026 06:24:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.163141
• Title: A Systematic Benchmark of Machine Transliteration Models for the Tajik-Farsi Language Pair: A Comparative Study from Rule-Based to Transformer Architectures
• Title（参考訳）: Tajik-Farsi言語ペアの機械翻訳モデルの体系的ベンチマーク:ルールベースとトランスフォーマーアーキテクチャの比較研究
• Abstract要約: 本稿では,タジク文字(キリル文字)とペルシア文字(アラビア文字)の文字化のための現代機械学習アーキテクチャの包括的比較分析について述べる。 最初のデータセットは328,253対の文対で構成され、成層ランダムサンプリングを用いて4万対の代表的サブセットが形成された。 結果は、他のモデルよりもByT5(TajikからFarsiへのchrF++ 87.4、逆の80.1)の圧倒的な優位性を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the first comprehensive comparative analysis of modern machine learning architectures for transliteration between Tajik (Cyrillic script) and Persian (Arabic script). A key contribution is the creation and validation of a unique parallel corpus aggregated from multiple heterogeneous sources, including crowdsourced projects, lexicographic pairs, parallel texts of "Shahnameh", diplomatic articles, texts of "Masnavi-i Ma'navi", official terminology lists, and transliterated correspondences. The initial dataset comprised 328,253 sentence pairs; a representative subset of 40,000 pairs was formed using stratified random sampling. The experiment compared six classes of models: rule-based baseline, LSTM with attention, character-level Transformer, G2P Transformer (trained from scratch), pre-trained multilingual models (mBART, mT5 with LoRA), and byte-level ByT5. Results demonstrate the overwhelming superiority of ByT5 (chrF++ 87.4 for Tajik to Farsi, 80.1 for reverse). The G2P Transformer significantly outperformed mBART (72.3 vs. 62.2 chrF++) despite limited data. Models using subword tokenization (mT5) failed completely (chrF++ less than 18.5). The findings demonstrate that for accurate transliteration of the Tajik-Farsi pair, architectures operating at the byte or character level are unequivocally more effective than traditional multilingual Seq2Seq models relying on subword tokenization.
• Abstract（参考訳）: 本稿では,タジク文字(キリル文字)とペルシャ文字(アラビア文字)の文字化を目的とした,現代の機械学習アーキテクチャの総合的比較分析を行った。 主要な貢献は、クラウドソースプロジェクト、レキシコグラフィーペア、"Shahnameh"の平行テキスト、外交記事、"Masnavi-i Ma'navi"のテキスト、公式用語リスト、翻訳文など、複数の異種ソースから集約されたユニークな平行コーパスの作成と検証である。 最初のデータセットは328,253対の文対で構成され、成層ランダムサンプリングを用いて4万対の代表的サブセットが形成された。 この実験では、ルールベースのベースライン、LSTMによる注意、文字レベルのトランスフォーマー、G2Pトランスフォーマー(スクラッチからトレーニング)、事前訓練された多言語モデル(mBART、mT5 with LoRA)、バイトレベルのBYT5の6つのモデルを比較した。 結果は、BYT5の圧倒的な優位性を示している(chrF++ 87.4 for Tajik to Farsi, 80.1 for reverse)。 G2Pトランスフォーマーはデータ制限にもかかわらずmBART(72.3対62.2 chrF++)を大幅に上回った。 サブワードトークン化(mT5)を用いたモデルは完全に失敗した(chrF++は18.5未満)。 その結果,Tajik-Farsiペアの正確な翻訳では,バイトレベルや文字レベルで動作するアーキテクチャは,サブワードのトークン化に依存した従来の多言語Seq2Seqモデルよりも極めて効果的であることがわかった。

関連論文リスト

• Benchmarking POS Tagging for the Tajik Language: A Comparative Study of Neural Architectures on the TajPersParallel Corpus [0.0]
  本稿では,タジク語のPOSタグ付け作業における最初のベンチマークについて述べる。 TajPersParallel corpusは、約44,000の辞書エントリからなる並列語彙資源である。
  論文  参考訳（メタデータ） (2026-05-06T07:26:56Z)
• Bidirectional Chinese and English Passive Sentences Dataset for Machine Translation [3.3573302174193973]
  本稿では、中国語と英語の5つのパラレルコーパスから抽出した受動的文の双方向マルチドメインデータセットを提案する。 データセットは73,965のパラレル文対(2,358,731の英単語、3,498,229の漢字)からなる。 我々は,我々のデータセットを用いて2つの最先端オープンソースMTシステムと,テストセットを用いた4つの商用モデルを評価した。
  論文  参考訳（メタデータ） (2026-03-16T13:04:09Z)
• Transformer Enhanced Relation Classification: A Comparative Analysis of Contextuality, Data Efficiency and Sequence Complexity [9.402566546100973]
  本研究では,変圧器のない深層教師あり学習手法と変圧器を持たない学習手法の性能を体系的に比較する。 その結果,変圧器ベースモデルは非変圧器モデルより優れており,マイクロF1スコアは80-90%であった。 本稿では,大規模言語モデル(LLM)の関連抽出における役割と現状について概説する。
  論文  参考訳（メタデータ） (2025-09-14T18:11:31Z)
• The Digital Sous Chef -- A Comparative Study on Fine-Tuning Language Models for Recipe Generation [2.497854684676663]
  本稿では,GPT-2大モデル(774M)とGPT-2小モデル(124M)と,RecipeDB 5-cuisineコーパス上の従来のLSTM/RNNベースラインとを比較検討した。 キーとなるコントリビューションは、23個の共通分数トークンとカスタム構造マーカーで語彙を拡大するトークン化戦略です。
  論文  参考訳（メタデータ） (2025-08-20T13:53:13Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Structural Guidance for Transformer Language Models [24.00537240110055]
  本研究では,トランスフォーマー言語モデルにおける構造的ガイダンスが,より人間らしい体系的言語一般化につながるかどうかを考察する。 実験結果から、生成的構造的監督がより堅牢で人間らしい言語的一般化を誘導できるという確固たる証拠が示唆された。
  論文  参考訳（メタデータ） (2021-07-30T23:14:51Z)
• mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
  翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-18T03:24:07Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)
• Rethinking Document-level Neural Machine Translation [73.42052953710605]
  現在のモデルでは、ドキュメントレベルの翻訳に十分な能力がありますか? 適切なトレーニング技術を持つオリジナルのトランスフォーマーは,2000語の長さであっても,文書翻訳の強力な結果が得られることを観察する。
  論文  参考訳（メタデータ） (2020-10-18T11:18:29Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。