論文の概要: From FusHa to Folk: Exploring Cross-Lingual Transfer in Arabic Language Models

• arxiv url: http://arxiv.org/abs/2602.09826v1
• Date: Tue, 10 Feb 2026 14:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.592857
• Title: From FusHa to Folk: Exploring Cross-Lingual Transfer in Arabic Language Models
• Title（参考訳）: FusHa から Folk へ:アラビア語モデルにおける言語間移動の探索
• Authors: Abdulmuizz Khalak, Abderrahmane Issam, Gerasimos Spanakis,
• Abstract要約: アラビア語モデル (LM) は、現代標準アラビア語 (MSA) で事前訓練されており、その方言に移行することが期待されている。 これは、その方言がMSAと類似性が異なるため、アラビア語のLMに制限を与える。 本研究では,3つの自然言語処理タスクの探索と表現的類似性を用いて,アラビア語モデルの言語間移動について検討する。
• 参考スコア（独自算出の注目度）: 9.715150075665354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Arabic Language Models (LMs) are pretrained predominately on Modern Standard Arabic (MSA) and are expected to transfer to its dialects. While MSA as the standard written variety is commonly used in formal settings, people speak and write online in various dialects that are spread across the Arab region. This poses limitations for Arabic LMs, since its dialects vary in their similarity to MSA. In this work we study cross-lingual transfer of Arabic models using probing on 3 Natural Language Processing (NLP) Tasks, and representational similarity. Our results indicate that transfer is possible but disproportionate across dialects, which we find to be partially explained by their geographic proximity. Furthermore, we find evidence for negative interference in models trained to support all Arabic dialects. This questions their degree of similarity, and raises concerns for cross-lingual transfer in Arabic models.
• Abstract（参考訳）: アラビア語モデル (LM) は、現代標準アラビア語 (MSA) で事前訓練されており、その方言に移行することが期待されている。 MSAは形式的な設定で一般的に使われるが、アラブ地域全体に広がる様々な方言で、人々は話し、オンラインで書く。 これは、その方言がMSAと類似性が異なるため、アラビア語のLMに制限を与える。 本研究では,3つの自然言語処理タスクの探索と表現的類似性を用いて,アラビア語モデルの言語間移動について検討する。 以上の結果から, 方言間の移動は可能ではあるが不均等であり, 地理的近接により部分的に説明できることが示唆された。 さらに、すべてのアラビア方言をサポートするために訓練されたモデルにおいて、負の干渉の証拠が見つかった。 これはそれらの類似性の程度に疑問を呈し、アラビア語のモデルにおける言語間移動に対する懸念を提起する。

関連論文リスト

• DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
  アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。 MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
  論文  参考訳（メタデータ） (2025-10-31T15:17:06Z)
• Arabizi vs LLMs: Can the Genie Understand the Language of Aladdin? [0.4751886527142778]
  アラビジはラテン文字と数字を含むアラビア語のハイブリッド形である。 機械翻訳には形式的な構造が欠如しているため、大きな課題がある。 本研究は、アラビジ語を現代標準アラビア語と英語の両方に翻訳する際のモデルの性能について検討する。
  論文  参考訳（メタデータ） (2025-02-28T11:37:52Z)
• Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion [70.23624194206171]
  本稿では,アラブ世界における大規模言語モデル(LLM)の民主化の必要性に対処する。 アラビア語のLLMの実用的な目的の1つは、復号を高速化するトークン化器にアラビア語固有の語彙を使用することである。 第二言語(アラビア語)による人への獲得の間に語彙学習に触発されたAraLLaMAは、進歩的な語彙拡張を採用している。
  論文  参考訳（メタデータ） (2024-12-16T19:29:06Z)
• AlcLaM: Arabic Dialectal Language Model [2.8477895544986955]
  ソーシャルメディアプラットフォームから収集した340万文からなるアラビア語方言コーパスを構築した。 我々はこのコーパスを用いて語彙を拡大し、BERTベースのモデルをスクラッチから再訓練する。 AlcLaMという名前の私たちのモデルは、既存のモデルで使われているデータのごく一部を表す、わずか13GBのテキストで訓練された。
  論文  参考訳（メタデータ） (2024-07-18T02:13:50Z)
• Bilingual Adaptation of Monolingual Foundation Models [48.859227944759986]
  単言語大言語モデル(LLM)を他の言語に適応させる効率的な手法を提案する。 2段階のアプローチは、語彙を拡張し、埋め込み行列のみをトレーニングすることから始まります。 アラビア語と英語のコーパスを混ぜて継続的に事前訓練することで、このモデルは英語の習熟度を維持しつつ、アラビア語の能力を獲得している。
  論文  参考訳（メタデータ） (2024-07-13T21:09:38Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• Post-hoc analysis of Arabic transformer models [20.741730718486032]
  我々は、アラビア語の異なる方言で訓練されたトランスフォーマーモデルにおいて、言語情報がどのようにコード化されているかを探る。 アラビア語の異なる方言に対する形態的タグ付けタスクと方言識別タスクを用いて、モデル上で層とニューロン分析を行う。
  論文  参考訳（メタデータ） (2022-10-18T16:53:51Z)
• Interpreting Arabic Transformer Models [18.98681439078424]
  我々は、アラビア語の様々な種類に基づいて訓練された、アラビア語の事前訓練されたモデルにおいて、言語情報がどのように符号化されているかを探る。 MSA(現代の標準アラビア語)に基づく2つの形態的タグ付けタスクと、方言のPOSタグ付けタスクと、方言の識別タスクである。
  論文  参考訳（メタデータ） (2022-01-19T06:32:25Z)
• Can Multilingual Language Models Transfer to an Unseen Dialect? A Case Study on North African Arabizi [2.76240219662896]
  本研究では,多言語モデルによる未知の方言の処理能力について検討する。 弊社のケーススタディは、北アフリカアラビアのユーザ生成を例に挙げる。 ゼロショットおよび教師なし適応シナリオでは、多言語言語モデルがそのような未知の方言に変換できることが示される。
  論文  参考訳（メタデータ） (2020-05-01T11:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。