論文の概要: Cendol: Open Instruction-tuned Generative Large Language Models for Indonesian Languages

• arxiv url: http://arxiv.org/abs/2404.06138v2
• Date: Mon, 8 Jul 2024 03:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 01:59:35.936886
• Title: Cendol: Open Instruction-tuned Generative Large Language Models for Indonesian Languages
• Title（参考訳）: Cendol: インドネシア語のためのオープンインストラクションでチューニングされた大規模言語モデル
• Authors: Samuel Cahyawijaya, Holy Lovenia, Fajri Koto, Rifki Afina Putri, Emmanuel Dave, Jhonson Lee, Nuur Shadieq, Wawan Cenggoro, Salsabil Maulana Akbar, Muhammad Ihza Mahendra, Dea Annisayanti Putri, Bryan Wilie, Genta Indra Winata, Alham Fikri Aji, Ayu Purwarianti, Pascale Fung,
• Abstract要約: 大規模言語モデル(LLM)は、様々なドメインや言語で顕著な人間のような能力を示す。 我々は、デコーダのみとエンコーダ-デコーダアーキテクチャの両方を含むインドネシアのLLMのコレクションであるCendolを紹介する。 さまざまなタスクにまたがってCendolの有効性を強調し、20%の改善を実現し、その一般化能力を実証した。
• 参考スコア（独自算出の注目度）: 55.963648108438555
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) show remarkable human-like capability in various domains and languages. However, a notable quality gap arises in low-resource languages, e.g., Indonesian indigenous languages, rendering them ineffective and inefficient in such linguistic contexts. To bridge this quality gap, we introduce Cendol, a collection of Indonesian LLMs encompassing both decoder-only and encoder-decoder architectures across a range of model sizes. We highlight Cendol's effectiveness across a diverse array of tasks, attaining 20% improvement, and demonstrate its capability to generalize to unseen tasks and indigenous languages of Indonesia. Furthermore, Cendol models showcase improved human favorability despite their limitations in capturing indigenous knowledge and cultural values in Indonesia. In addition, we discuss the shortcomings of parameter-efficient tunings, such as LoRA, for language adaptation. Alternatively, we propose the usage of vocabulary adaptation to enhance efficiency. Lastly, we evaluate the safety of Cendol and showcase that safety in pre-training in one language such as English is transferable to low-resource languages, such as Indonesian, even without RLHF and safety fine-tuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なドメインや言語で顕著な人間のような能力を示す。 しかし、インドネシア原住民の言語のような低リソース言語では顕著な品質の差が生じ、そのような言語的文脈ではそれらが非効率で非効率である。 この品質ギャップを埋めるために、インドネシアのLLMのコレクションであるCendolを紹介します。 我々は、さまざまなタスクにまたがってCendolの有効性を強調し、20%の改善を実現し、インドネシアの見知らぬタスクや先住民言語に一般化する能力を実証した。 さらに、インドネシアの先住民の知識と文化的価値の獲得に制限があるにもかかわらず、センドルモデルは人間の好ましさを改善した。 さらに,言語適応のためのパラメータ効率調整(LoRAなど)の欠点についても論じる。 また,効率向上のための語彙適応手法を提案する。 最後に、Cendolの安全性を評価し、RLHFや安全性の微調整がなくても、インドネシア語などの低リソース言語に英語などの1言語での事前学習の安全性が移行可能であることを示す。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• Seamless Language Expansion: Enhancing Multilingual Mastery in Self-Supervised Models [60.09618700199927]
  既存のSSLモデルにLoRAを統合して新しい言語を拡張する適応手法を提案する。 また、既存の言語における能力を維持するために、データの組み合わせと再クラスタ化を含む保存戦略も開発している。
  論文  参考訳（メタデータ） (2024-06-20T08:13:30Z)
• Constructing and Expanding Low-Resource and Underrepresented Parallel Datasets for Indonesian Local Languages [0.0]
  インドネシアの5つの言語を特徴とする多言語並列コーパスであるBhinneka Korpusを紹介する。 我々のゴールは、これらの資源へのアクセスと利用を強化し、国内へのリーチを広げることです。
  論文  参考訳（メタデータ） (2024-04-01T09:24:06Z)
• IndoRobusta: Towards Robustness Against Diverse Code-Mixed Indonesian Local Languages [62.60787450345489]
  インドネシア語で4つの組込み言語、すなわち英語、スンダ語、ジャワ語、マレー語のコードミキシングについて検討する。 我々の分析は、事前学習されたコーパスバイアスが、インドネシアと英語のコードミキシングをよりうまく処理するモデルの能力に影響することを示している。
  論文  参考訳（メタデータ） (2023-11-21T07:50:53Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [0.0]
  我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。 ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
  論文  参考訳（メタデータ） (2021-10-26T14:59:16Z)
• Improving Indonesian Text Classification Using Multilingual Language Model [0.0]
  本稿では,インドネシア語テキスト分類モデルの構築における英語とインドネシア語データの組み合わせの効果について検討する。 実験の結果,英語データの追加,特にインドネシア語のデータの量が少ない場合には,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-09-12T03:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。