論文の概要: Komodo: A Linguistic Expedition into Indonesia's Regional Languages

• arxiv url: http://arxiv.org/abs/2403.09362v2
• Date: Tue, 19 Mar 2024 05:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 20:49:20.615056
• Title: Komodo: A Linguistic Expedition into Indonesia's Regional Languages
• Title（参考訳）: コモド:インドネシアの地域言語への言語学的遠征
• Authors: Louis Owen, Vishesh Tripathi, Abhay Kumar, Biddwan Ahmed,
• Abstract要約: コモド7Bはインドネシア語、英語、11の地域言語をシームレスに運営している。 Komodo-7B-Instructは様々なタスクや言語で最先端のパフォーマンスを達成することで際立っている。 言語モデルの発展への我々のコミットメントは、限られた言語資産を持つ人々のギャップを埋めることを目的として、十分なリソースを持つ言語を超えて拡張されます。
• 参考スコア（独自算出の注目度）: 0.3574867616159909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent breakthroughs in Large Language Models (LLMs) have mostly focused on languages with easily available and sufficient resources, such as English. However, there remains a significant gap for languages that lack sufficient linguistic resources in the public domain. Our work introduces Komodo-7B, 7-billion-parameter Large Language Models designed to address this gap by seamlessly operating across Indonesian, English, and 11 regional languages in Indonesia. Komodo-7B is a family of LLMs that consist of Komodo-7B-Base and Komodo-7B-Instruct. Komodo-7B-Instruct stands out by achieving state-of-the-art performance in various tasks and languages, outperforming the benchmarks set by OpenAI's GPT-3.5, Cohere's Aya-101, Llama-2-Chat-13B, Mixtral-8x7B-Instruct-v0.1, Gemma-7B-it , and many more. This model not only demonstrates superior performance in both language-specific and overall assessments but also highlights its capability to excel in linguistic diversity. Our commitment to advancing language models extends beyond well-resourced languages, aiming to bridge the gap for those with limited linguistic assets. Additionally, Komodo-7B-Instruct's better cross-language understanding contributes to addressing educational disparities in Indonesia, offering direct translations from English to 11 regional languages, a significant improvement compared to existing language translation services. Komodo-7B represents a crucial step towards inclusivity and effectiveness in language models, providing to the linguistic needs of diverse communities.
• Abstract（参考訳）: 近年のLLM(Large Language Models)のブレークスルーは、主に英語のような手軽で十分なリソースを持つ言語に焦点を当てている。 しかし、パブリックドメインで十分な言語資源が不足している言語には、依然として大きなギャップがある。 インドネシア語,英語,11の地域言語をシームレスに操作することで,このギャップに対処する7ビリオンパラメータ大言語モデルであるKomodo-7Bを紹介した。 コモド-7Bは、コモド-7B-ベースとコモド-7B-インストラクションからなるLLMのファミリーである。 Komodo-7B-Instructは、OpenAIのGPT-3.5、CohereのAya-101、Llama-2-Chat-13B、Mixtral-8x7B-Instruct-v0.1、Gemma-7B-itなどのベンチマークを上回り、様々なタスクや言語で最先端のパフォーマンスを達成することで際立っている。 このモデルは、言語固有の評価と全体的な評価の両方において優れた性能を示すだけでなく、言語多様性に優れる能力を強調している。 言語モデルの発展への我々のコミットメントは、限られた言語資産を持つ人々のギャップを埋めることを目的として、十分なリソースを持つ言語を超えて拡張されます。 さらに、コモド7B-インストラクトはインドネシアの教育格差に対処するために、英語から11の地域言語への直接翻訳を提供しており、既存の言語翻訳サービスに比べて大幅に改善されている。 コモド7Bは言語モデルにおける傾きと有効性への重要なステップであり、多様なコミュニティの言語的ニーズに寄与する。

関連論文リスト

• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• Constructing and Expanding Low-Resource and Underrepresented Parallel Datasets for Indonesian Local Languages [0.0]
  インドネシアの5つの言語を特徴とする多言語並列コーパスであるBhinneka Korpusを紹介する。 我々のゴールは、これらの資源へのアクセスと利用を強化し、国内へのリーチを広げることです。
  論文  参考訳（メタデータ） (2024-04-01T09:24:06Z)
• SeaLLMs -- Large Language Models for Southeast Asia [76.50157503379086]
  東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。 包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
  論文  参考訳（メタデータ） (2023-12-01T17:17:56Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting [50.24676567971536]
  BLOOMモデルは広く公開されている多言語言語モデルであるが、事前訓練は46言語に限られていた。 既存の言語適応戦略をBLOOMに適用し、8つの新しい言語の性能向上を促すゼロショットをベンチマークする。 データ言語を十分に訓練すれば、多様な言語に適応できると結論付けている。
  論文  参考訳（メタデータ） (2022-12-19T15:24:45Z)
• Towards Leaving No Indic Language Behind: Building Monolingual Corpora, Benchmark and Models for Indic Languages [19.91781398526369]
  3つの重要な軸に沿ってコントリビューションを行うことで、Indic言語のNLU機能を改善することを目指している。 具体的には、4つの言語ファミリーの24言語をカバーする20.9Bトークンで、最大のモノリンガルコーパスであるIndicCorpをキュレートする。 我々は、20言語をカバーする9つの異なるNLUタスクからなる人間によるベンチマークIndicXTREMEを作成する。 言語やタスク全体にわたって、IndicXTREMEには合計105の評価セットが含まれており、そのうち52が新たな文献への貢献である。
  論文  参考訳（メタデータ） (2022-12-11T04:45:50Z)
• Anchor-based Bilingual Word Embeddings for Low-Resource Languages [76.48625630211943]
  良質な単言語単語埋め込み(MWEs)は、大量のラベルのないテキストを持つ言語向けに構築することができる。 MWEは、数千の単語変換ペアだけでバイリンガル空間に整列することができる。 本稿では,高資源言語におけるベクトル空間を出発点とするBWEの構築手法を提案する。
  論文  参考訳（メタデータ） (2020-10-23T19:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。