論文の概要: State-of-the-Art Arabic Language Modeling with Sparse MoE Fine-Tuning and Chain-of-Thought Distillation

• arxiv url: http://arxiv.org/abs/2604.06421v1
• Date: Tue, 07 Apr 2026 19:58:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.220433
• Title: State-of-the-Art Arabic Language Modeling with Sparse MoE Fine-Tuning and Chain-of-Thought Distillation
• Title（参考訳）: Sparse MoE Fine-Tuning and Chain-of-Thought Distillation を用いた最先端アラビア語モデリング
• Authors: Navan Preet Singh, Anurag Garikipati, Ahmed Abulkhair, Jyani Akshay Jagdishbhai, Atul Yaduvanshi, Amarendra Chaudhary, Madalina Ciobanu, Qingqing Mao, Ritankar Das,
• Abstract要約: Arabic-DeepSeek-R1 はアプリケーション駆動のオープンソース アラビア LLM で、疎い MoE バックボーンを活用し、表現不足の言語におけるデジタルエクイティギャップに対処する。 我々の4段階のCoT蒸留方式は、アラビア語固有の言語的検証と地域倫理規範を3億2200万トンの汚染制御されたアラビア語と英語の訓練混合物に統合します。
• 参考スコア（独自算出の注目度）: 0.030957264235843676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Arabic-DeepSeek-R1, an application-driven open-source Arabic LLM that leverages a sparse MoE backbone to address the digital equity gap for under-represented languages, and establishes a new SOTA across the entire Open Arabic LLM Leaderboard (OALL). Our four-phase CoT distillation scheme integrates Arabic-specific linguistic verification and regional ethical norms into a 372M-token, contamination-controlled 80/20 Arabic-English training mixture. Arabic-DeepSeek-R1 achieves the highest average score across the seven-benchmark OALL suite while establishing SOTA or near-SOTA, including dominant results on grammar-focused MadinahQA (surpassing both GPT-5.1 and the OALL leader by substantial margins), safety-oriented AraTrust, multi-ability AlGhafa, and retrieval-augmented ALRAGE. Our results indicate that the combination of sparse MoE architecture, culturally-informed CoT distillation with explicit Arabic linguistic checks, and strategic bilingual data curation enables an open-source adapted model to systematically outperform the proprietary frontier system GPT-5.1 on the majority of benchmarks evaluating comprehensive language-specific tasks: the first such demonstration for Arabic LLMs. These findings indicate that much of Arabic's performance deficit in current LLM ecosystems stems from under-specialization rather than architectural limitations, and that parameter-efficient adaptation of open reasoning models can yield breakthrough SOTA performance without industrial-scale pretraining costs. Arabic-DeepSeek-R1 establishes a validated and replicable framework for sovereign and domain-specific language technologies, demonstrating that strategic, culturally-grounded adaptation of sparse MoE backbones offers a viable and cost-effective pathway to achieving record-breaking performance across standardized benchmarks for low-resource languages.
• Abstract（参考訳）: 本稿では、低表現言語におけるデジタル・エクイティギャップに対処するため、疎いMoEバックボーンを活用するアプリケーション駆動のオープンソースLLMであるArabic-DeepSeek-R1を紹介し、Open Arabic LLM Leaderboard(OALL)全体にわたって新たなSOTAを確立する。 我々の4段階のCoT蒸留方式は、アラビア語固有の言語的検証と地域倫理規範を、372Mの汚染制御された80/20のアラビア英語の訓練混合物に統合します。 アラビア語-DeepSeek-R1は、文法に焦点を当てたMadinahQA(GPT-5.1とOALLのリーダーをかなりの差で通過させる)、安全指向のAraTrust、マルチビリティのAlGhafa、検索強化されたALRAGEなどを含む、SOTAやSOTAに近い7つのベンチマークのOALLスイートの平均スコアを達成している。 以上の結果から,Sparse MoE アーキテクチャ,文化的インフォームド CoT 蒸留,明示的なアラビア語の言語チェック,戦略的バイリンガルデータキュレーションを組み合わせることで,オープンソースの適応型モデルにより,包括的な言語固有のタスクを評価するベンチマークの大部分において,プロプライエタリなフロンティアシステム GPT-5.1 を体系的に向上させることができることが示唆された。 これらの結果から,現在のLLM生態系におけるアラビアの業績赤字の大部分は,建築上の制約よりも過小評価によるものであり,オープン推論モデルのパラメータ効率適応は産業規模の事前訓練コストを伴わずに,SOTAのパフォーマンスを突破する可能性があることが示唆された。 アラビア語-DeepSeek-R1は、主権とドメイン固有の言語技術のための検証済みかつ複製可能なフレームワークを確立し、低リソース言語のための標準ベンチマークで記録破りのパフォーマンスを達成するための、戦略的、文化的に地味なMoEバックボーンの適応が、実行可能で費用対効果の高いパスを提供することを示した。

関連論文リスト

• Context-Aware Dialectal Arabic Machine Translation with Interactive Region and Register Selection [0.0]
  現在のアラビア語の機械翻訳(MT)システムは、しばしば方言の多様性を考慮するのに苦労している。 本稿では,地域・言語的変動を明示的にモデル化した方言アラビア語 MT の文脈認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-07T20:54:19Z)
• Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach [3.0802183987532725]
  本稿では,アラビア語における特徴特異的自動検査(AES)のための新しいプロンプトエンジニアリングフレームワークを提案する。 組織,語彙,開発,スタイルなど,言語能力の異なる特徴を評価する上で,LLMを導く3段階のプロンプト戦略を導入する。 実験結果から,Fanar-1-9B-Instructは0と数発のプロンプトにおいて高い特性レベルの一致を達成した。
  論文  参考訳（メタデータ） (2026-03-20T06:05:04Z)
• Advancing Dialectal Arabic to Modern Standard Arabic Machine Translation [22.369277951685234]
  本稿では,レバンタ語,エジプト語,湾岸方言のDA-MSA翻訳の進展に寄与する2つの中核的貢献について述べる。 ゼロショット,チェーン・オブ・シント,提案手法であるAra-TEaR法を改良した。 微調整 LLM では、量子化された Gemma2-9B モデルが 49.88 の chrF++ スコアを獲得し、ゼロショット GPT-4o (44.58) を上回った。
  論文  参考訳（メタデータ） (2025-07-27T14:37:53Z)
• SCALE: Synergized Collaboration of Asymmetric Language Translation Engines [105.8983433641208]
  本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。 STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。 実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-29T08:46:38Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。