論文の概要: Arabic Stable LM: Adapting Stable LM 2 1.6B to Arabic

• arxiv url: http://arxiv.org/abs/2412.04277v1
• Date: Thu, 05 Dec 2024 15:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:22.566205
• Title: Arabic Stable LM: Adapting Stable LM 2 1.6B to Arabic
• Title（参考訳）: アラビア安定LM:安定LM21.6Bをアラビアに適応させる
• Authors: Zaid Alyafeai, Michael Pieler, Hannah Teufel, Jonathan Tow, Marco Bellagente, Duy Phung, Nikhil Pinnaparaju, Reshinth Adithyan, Paulo Rocha, Maksym Zhuravinskyi, Carlos Riquelme,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理(NLP)の複数の領域において顕著な結果を示している。 本稿では,アラビア語の安定なLM 1.6Bのベースとチャット版を,小型ながら強力なアラビア語中心のLDMとして紹介する。 我々のモデルは、最大8倍のパラメータを持つ複数のモデルに打ち勝ついくつかのベンチマークで印象的な結果を得る。
• 参考スコア（独自算出の注目度）: 11.027926605631105
• License:
• Abstract: Large Language Models (LLMs) have shown impressive results in multiple domains of natural language processing (NLP) but are mainly focused on the English language. Recently, more LLMs have incorporated a larger proportion of multilingual text to represent low-resource languages. In Arabic NLP, several Arabic-centric LLMs have shown remarkable results on multiple benchmarks in the past two years. However, most Arabic LLMs have more than 7 billion parameters, which increases their hardware requirements and inference latency, when compared to smaller LLMs. This paper introduces Arabic Stable LM 1.6B in a base and chat version as a small but powerful Arabic-centric LLM. Our Arabic Stable LM 1.6B chat model achieves impressive results on several benchmarks beating multiple models with up to 8x the parameters. In addition, we show the benefit of mixing in synthetic instruction tuning data by augmenting our fine-tuning data with a large synthetic dialogue dataset.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理(NLP)の複数の領域において印象的な結果を示しているが、主に英語に焦点を当てている。 近年,低リソース言語を表現するために,多言語テキストの比率が大きくなった。 アラビア語のNLPでは、過去2年間に複数のベンチマークでアラビア中心のLLMが顕著な結果を示している。 しかし、ほとんどのアラビアのLLMは70億以上のパラメータを持ち、より小さなLLMと比較してハードウェア要件と推論遅延を増加させる。 本稿では,アラビア語の安定なLM 1.6Bのベースとチャット版を,小型ながら強力なアラビア語中心のLDMとして紹介する。 我々のアラビア安定LM 1.6Bチャットモデルは、最大8倍のパラメータを持つ複数のモデルのベンチマークで印象的な結果を得る。 さらに,大規模な合成対話データセットを用いて微調整データを増大させることにより,合成指導訓練データに混合する利点を示す。

関連論文リスト

• AIN: The Arabic INclusive Large Multimodal Model [71.29419186696138]
  AIN (英語: AIN) は、英語とアラビア語で卓越するように設計された英語とアラビア語のバイリンガルLMMである。 AINは最先端のアラビア語のパフォーマンスを実証する一方で、英語の視覚能力も優れている。 AINの優れた能力は、先進的なマルチモーダル生成AIツールでアラビア語話者を強化するための重要なステップである。
  論文  参考訳（メタデータ） (2025-01-31T18:58:20Z)
• NusaMT-7B: Machine Translation for Low-Resource Indonesian Languages with Large Language Models [2.186901738997927]
  本稿では,低リソースインドネシア語用機械翻訳モデルであるNusaMT-7Bを紹介する。 提案手法は, 単言語データ, Supervised Fine-Tuning (SFT) , 自己学習, LLMベースのデータクリーナーを併用し, 並列文のノイズを低減する。 この結果から,LLMの微調整により,低リソース言語への翻訳品質が向上し,言語保存や異文化間コミュニケーションに寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T11:33:25Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Beyond English: Evaluating LLMs for Arabic Grammatical Error Correction [19.970419667319046]
  大きな言語モデル(LLM)は、人間の指示に従うように微調整され、英語のNLPタスクにおいて重要な機能を示した。 アラビア語文法誤り訂正(GEC)における命令微調整LDMの能力の評価 命令を微調整したモデルのサイズに関わらず、たとえ非常に小さくても、完全に微調整されたモデルよりも性能が優れていることが判明した。
  論文  参考訳（メタデータ） (2023-12-13T05:33:25Z)
• Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction Following: A Case Study of Arabic [1.0878040851638]
  GPT-4を英語とアラビア語の問合せのための一様評価器として使用し、様々なオープンエンドタスクにおけるLCMの性能を評価し比較する。 マルチリンガルおよびマルチターンデータセットを用いた微調整ベースモデルは、スクラッチからトレーニングされたマルチリンガルデータと競合する可能性がある。
  論文  参考訳（メタデータ） (2023-10-23T11:40:04Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• ChatGPT for Arabic Grammatical Error Correction [5.945320097465418]
  大きな言語モデル(LLM)は、人間の指示に従うように微調整され、英語のNLPタスクにおいて重要な機能を示した。 本稿では,アラビア語の豊富な形態が原因で複雑化した課題である,アラビア語 GEC における微調整 LLM の指導能力について検討する。 命令の微調整モデルは,そのサイズによらず,かなり小型の完全微調整モデルに比べて性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T18:00:39Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• A Large and Diverse Arabic Corpus for Language Modeling [0.0]
  この研究は、大きなアラビア人コーパスの設計と開発について詳述している。 クロスドメイン知識の向上を目的とした、500GB以上のアラビアのクリーンテキストで構成されている。 LMの有効性を評価するために、多くの典型的なNLPタスクを微調整する。
  論文  参考訳（メタデータ） (2022-01-23T11:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。