論文の概要: AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining

• arxiv url: http://arxiv.org/abs/2610.30344v1
• Date: Wed, 21 Oct 2026 19:04:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.11046
• Title: AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining
• Title（参考訳）: AQL-Lite: データ中心連続事前学習によるアラビア語LLMの効率的な知識獲得の実現
• Abstract要約: アラビア語の大規模言語モデルの訓練は、ノイズの多いWebデータ、方言の変化、継続事前学習(CPT)の高コストによる課題に直面している。 AQL-Lite (AQL: Arabic Quality Language)は、多言語LLMを現代標準アラビア語(MSA)に適応するための時間的および資源効率のよいフレームワークである。 AQL-Liteは、アーキテクチャ第一のキュレーションパイプライン(構造的クリーニング、モデルベースフィルタリング、MSA選択、復号化)と部分パラメータCPTレシピを結合し、最後の8つのトランスフォーマーブロックと埋め込みマトリックスとともにネットワークをまたいでRS-LoRAアダプタをトレーニングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Arabic large language models faces challenges from noisy web data, dialectal variation, and the high cost of continual pretraining (CPT). We introduce AQL-Lite (AQL: Arabic Quality Language), a time- and resource-efficient framework for adapting a multilingual LLM to Modern Standard Arabic (MSA). AQL-Lite couples a quality-first curation pipeline (structural cleaning, heuristic and model-based filtering, MSA selection, and deduplication) with a partial-parameter CPT recipe that trains RS-LoRA adapters across the network together with the last eight transformer blocks and the embedding matrix, under layer-wise learning rates. At a matched 1B-token budget, CPT on AQL-curated data raises a four-benchmark Arabic mean by 3.51 points over CPT on raw web text, which yields no gain over the base model. In a controlled 5B-token comparison, AQL-Lite recovers 94% of the gain of full-parameter CPT (mean 73.19 vs. 73.58) in 52% of the wall-clock time and outperforms adapter-only baselines on every benchmark, and a component ablation shows that adapters, unfrozen blocks, and embedding training each contribute. Scaled to 40B MSA tokens and instruction-tuned on one million examples, the resulting 12B model scores 75.3 on the seven-benchmark Open Arabic LLM Leaderboard v2 (OALL v2) suite. These results suggest that partial-parameter CPT on a carefully curated corpus is a practical route to efficient MSA adaptation.
• Abstract（参考訳）: アラビア語の大規模言語モデルの訓練は、ノイズの多いWebデータ、方言の変化、継続事前訓練(CPT)の高コストといった課題に直面している。 AQL-Lite (AQL: Arabic Quality Language) は多言語 LLM を現代標準アラビア語 (MSA) に適用するための時間と資源効率のよいフレームワークである。 AQL-Liteは、品質第一のキュレーションパイプライン(構造的クリーニング、ヒューリスティック、モデルベースフィルタリング、MSAの選択、重複)と部分パラメータCPTレシピを結合し、最後の8つのトランスフォーマーブロックと埋め込みマトリックスとともに、層単位の学習率でネットワークを横断するRS-LoRAアダプタをトレーニングする。 一致した1Bトークンの予算では、AQLで計算されたデータ上のCPTは、生のWebテキスト上でCPTよりも3.51ポイントの4ベンチマークのアラビア平均を上昇させるため、ベースモデルよりも利得は得られない。 制御された5B-token比較では、AQL-Liteはウォールクロック時間の52%でフルパラメータCPT(平均73.19 vs. 73.58)の94%を回復し、各ベンチマークでアダプタのみのベースラインを上回っている。 40BのMSAトークンにスケールし、100万のサンプルに基づいて命令をチューニングし、結果として12Bモデルが75.3点、オープンアラビアの LLM Leaderboard v2 (OALL v2) スイートでスコアした。 これらの結果から, 慎重に硬化したコーパス上の部分パラメータCPTは, MSA適応を効果的にするための実用的な方法であることが示唆された。

関連論文リスト

• Prompt-Based Simplification for Plain Language using Spanish Language Models [0.6299766708197881]
  本稿では,LearS 2025 Subtask 1: Adaptation of Text to Plain Language (PL) in Spanishについて述べる。 我々は、プロンプトエンジニアリングを用いたゼロショット構成やローランド適応(LoRA)を用いた微調整版など、スペイン語のテキストで訓練されたモデルに基づく戦略を探求した。 最終的なシステムはバランスよく一貫した性能で選択され、正規化ステップ、RigoChat-7B-v2モデル、PL指向のプロンプトが組み合わされた。
  論文  参考訳（メタデータ） (2025-09-21T19:28:37Z)
• SpeechLLM: Unified Speech and Language Model for Enhanced Multi-Task Understanding in Low Resource Settings [1.6882236110408633]
  音声の埋め込みをLLM互換トークンに変換するパラメータ効率のよいアダプタを用いた解を提案する。 我々は、エンドツーエンド自動音声認識(ASR)、名前付きエンティティ認識(NER)、感情分析(SA)に焦点を当てる。 提案したアダプタは、トレーニング可能なパラメータを7倍少なくして、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-08-29T22:38:16Z)
• How well can LLMs Grade Essays in Arabic? [3.101490720236325]
  本研究では,AR-AESデータセットを用いたアラビア語自動エッセイスコアリング(AES)タスクにおける大規模言語モデル(LLM)の有効性を評価する。 ゼロショット、少数ショットのインコンテキスト学習、微調整など、さまざまな評価手法を探求する。 英語のプロンプトとアラビア語のコンテンツを統合する混合言語プロンプト戦略は、モデル理解とパフォーマンスを改善するために実装された。
  論文  参考訳（メタデータ） (2025-01-27T21:30:02Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。