論文の概要: DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing

• arxiv url: http://arxiv.org/abs/2603.21571v1
• Date: Mon, 23 Mar 2026 04:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.491647
• Title: DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing
• Title（参考訳）: DATASHI: オーソグラフィ正規化と低リソース言語処理のための並列英語タシュレイトコーパス
• Authors: Nasser-Eddine Monir, Zakaria Baou,
• Abstract要約: DATASHIは、Amazigh言語における計算リソースの重大なギャップを埋める、新しい並列英語タシュレイトコーパスである。 5000の文対を含み、1500文のサブセットがあり、専門家の標準化と非標準のユーザ生成バージョンがある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: DATASHI is a new parallel English-Tashlhiyt corpus that fills a critical gap in computational resources for Amazigh languages. It contains 5,000 sentence pairs, including a 1,500-sentence subset with expert-standardized and non-standard user-generated versions, enabling systematic study of orthographic diversity and normalization. This dual design supports text-based NLP tasks - such as tokenization, translation, and normalization - and also serves as a foundation for read-speech data collection and multimodal alignment. Comprehensive evaluations with state-of-the-art Large Language Models (GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro, Mistral, Qwen3-Max) show clear improvements from zero-shot to few-shot prompting, with Gemini-2.5-Pro achieving the lowest word and character-level error rates and exhibiting robust cross-lingual generalization. A fine-grained analysis of edit operations - deletions, substitutions, and insertions - across phonological classes (geminates, emphatics, uvulars, and pharyngeals) further highlights model-specific sensitivities to marked Tashlhiyt features and provides new diagnostic insights for low-resource Amazigh orthography normalization.
• Abstract（参考訳）: DATASHIは、Amazigh言語における計算リソースの重大なギャップを埋める、新しい並列英語タシュレイトコーパスである。 5000の文対を含み、1500文のサブセットには専門家が標準化し、非標準のユーザ生成バージョンがあり、正書法的な多様性と正規化の体系的な研究を可能にしている。 このデュアルデザインは、トークン化、翻訳、正規化といったテキストベースのNLPタスクをサポートし、読み書きデータ収集やマルチモーダルアライメントの基盤としても機能する。 最先端の大規模言語モデル(GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro, Mistral, Qwen3-Max)による包括的評価は、ゼロショットから少数ショットプロンプトへの明確な改善を示し、Gemini-2.5-Proは最低単語と文字レベルのエラー率を達成し、頑健な言語間一般化を示す。 音韻学のクラス (geminates, emphatics, uvulars, pharyngeals) にまたがる編集操作(削除、置換、挿入)のきめ細かい分析により、モデル固有の感度がタシュレイトの特徴に強調され、低リソースのアマジーの正書法正規化のための新たな診断的洞察を提供する。

関連論文リスト

• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
  同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。 単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-11T17:41:01Z)
• Improving Indigenous Language Machine Translation with Synthetic Data and Language-Specific Preprocessing [5.781452568978427]
  我々は,高容量多言語翻訳モデルを用いて合成文対を生成することで,アメリカ大陸の言語に対する並列データセットを拡張した。 グアラニ・スペイン語とケチュア・スペイン語の翻訳実験は、合成データ拡張による一貫したchrF++の改善を示している。 Aymaraの診断実験は、高度に凝集的な言語に対する一般的な前処理の限界を強調している。
  論文  参考訳（メタデータ） (2026-01-06T16:06:42Z)
• Towards Explainable Bilingual Multimodal Misinformation Detection and Localization [64.37162720126194]
  BiMiは、地域レベルのローカライゼーション、言語間および言語間整合性検出、誤情報解析のための自然言語説明を共同で行うフレームワークである。 BiMiBenchは、実際のニュース画像とサブタイトルを体系的に編集するベンチマークである。 BiMiは、分類精度が+8.9で、ローカライゼーション精度が+15.9で、BERTScoreを+2.5で上回る。
  論文  参考訳（メタデータ） (2025-06-28T15:43:06Z)
• Cross-Lingual Word Alignment for ASEAN Languages with Contrastive Learning [5.5119571570277826]
  言語間単語アライメントは、自然言語処理タスクにおいて重要な役割を果たす。 近年,BiLSTMを用いたエンコーダデコーダモデルを提案する。 本稿では,BiLSTMに基づくエンコーダデコーダフレームワークにコントラスト学習を取り入れることを提案する。
  論文  参考訳（メタデータ） (2024-07-06T11:56:41Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• The Tatoeba Translation Challenge -- Realistic Data Sets for Low Resource and Multilingual MT [0.0]
  本稿では,何千もの言語ペアに対するトレーニングとテストデータを提供する機械翻訳のための新しいベンチマークの開発について述べる。 主な目標は、世界言語をより広範囲にカバーしたオープン翻訳ツールとモデルの開発をトリガーすることである。
  論文  参考訳（メタデータ） (2020-10-13T13:12:21Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。