論文の概要: From Bytes to Borsch: Fine-Tuning Gemma and Mistral for the Ukrainian Language Representation

• arxiv url: http://arxiv.org/abs/2404.09138v1
• Date: Sun, 14 Apr 2024 04:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 15:17:37.444062
• Title: From Bytes to Borsch: Fine-Tuning Gemma and Mistral for the Ukrainian Language Representation
• Title（参考訳）: バイトからボルシュへ:ウクライナ語表現の微調整とミストラル
• Authors: Artur Kiulian, Anton Polishko, Mykola Khandoga, Oryna Chubych, Jack Connor, Raghav Ravishankar, Adarsh Shirawalmath,
• Abstract要約: 生成型大規模言語モデル(LLM)は、テキスト理解と生成において非並列的な能力を示すイノベーションの最前線にある。 しかし、ウクライナ語のような低リソース言語の限られた表現は、この技術のリーチと関連性を制限し、顕著な課題となっている。 本稿は, オープンソースのGemmaとMistral LLMをウクライナのデータセットで微調整し, 言語能力の向上を目指す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the rapidly advancing field of AI and NLP, generative large language models (LLMs) stand at the forefront of innovation, showcasing unparalleled abilities in text understanding and generation. However, the limited representation of low-resource languages like Ukrainian poses a notable challenge, restricting the reach and relevance of this technology. Our paper addresses this by fine-tuning the open-source Gemma and Mistral LLMs with Ukrainian datasets, aiming to improve their linguistic proficiency and benchmarking them against other existing models capable of processing Ukrainian language. This endeavor not only aims to mitigate language bias in technology but also promotes inclusivity in the digital realm. Our transparent and reproducible approach encourages further NLP research and development. Additionally, we present the Ukrainian Knowledge and Instruction Dataset (UKID) to aid future efforts in language model fine-tuning. Our research not only advances the field of NLP but also highlights the importance of linguistic diversity in AI, which is crucial for cultural preservation, education, and expanding AI's global utility. Ultimately, we advocate for a future where technology is inclusive, enabling AI to communicate effectively across all languages, especially those currently underrepresented.
• Abstract（参考訳）: AIとNLPの急速に進歩する分野では、生成型大規模言語モデル(LLM)がイノベーションの最前線に立ち、テキスト理解と生成において非並列的な能力を示している。 しかし、ウクライナ語のような低リソース言語の限られた表現は、この技術のリーチと関連性を制限し、顕著な課題となっている。 本稿は,オープンソースのGemmaとMistral LLMをウクライナのデータセットで微調整し,その言語能力の向上と,ウクライナ語の処理が可能な既存のモデルとのベンチマークを行うことによって,この問題に対処する。 この取り組みは、テクノロジーにおける言語の偏見を軽減することだけでなく、デジタル領域における傾きを促進することを目的としている。 我々の透明で再現可能なアプローチは、さらなるNLP研究と開発を促進する。 さらに,ウクライナのナレッジ・アンド・インストラクション・データセット(UKID)を提示し,言語モデルの微調整における今後の取り組みを支援する。 我々の研究は、NLPの分野を前進させるだけでなく、文化保存、教育、AIのグローバルユーティリティの拡大に欠かせない、AIにおける言語多様性の重要性も強調している。 最終的には、テクノロジーが包括的であり、AIがすべての言語、特に現在表現されていない言語間で効果的にコミュニケーションできる未来を提唱します。

関連論文リスト

• LIMBA: An Open-Source Framework for the Preservation and Valorization of Low-Resource Languages using Generative Models [62.47865866398233]
  この白書は低リソース言語のための言語ツールを生成するためのフレームワークを提案する。 このような言語に対するインテリジェントな応用を妨げるデータ不足に対処することにより、言語多様性の促進に寄与する。
  論文  参考訳（メタデータ） (2024-11-20T16:59:41Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Harnessing the Power of Artificial Intelligence to Vitalize Endangered Indigenous Languages: Technologies and Experiences [31.62071644137294]
  我々は、世界の言語の多様性の低下と、AIとNLPに固有の倫理的課題をもたらすインディジェネラル言語について論じる。 Indigenous Language のための高品質な機械学習トランスレータの開発に励む成果を報告する。 私たちは2023年と2024年にブラジルの先住民コミュニティで実施したプロジェクトで構築したプロトタイプを紹介します。
  論文  参考訳（メタデータ） (2024-07-17T14:46:37Z)
• Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance [6.907734681124986]
  本稿では,多言語文脈における知識編集技術を検討することにより,言語的平等の必要性を戦略的に識別する。 Mistral, TowerInstruct, OpenHathi, Tamil-Llama, Kan-Llamaなどのモデルの性能を,英語,ドイツ語,フランス語,イタリア語,スペイン語,ヒンディー語,タミル語,カンナダ語を含む言語で評価した。
  論文  参考訳（メタデータ） (2024-06-17T01:54:27Z)
• The Ghanaian NLP Landscape: A First Look [9.17372840572907]
  特にガーナ語は絶滅が記録され、いくつかは危険にさらされている。 本研究は、ガーナ語に焦点をあてた自然言語処理(NLP)研究の包括的調査のパイオニアである。
  論文  参考訳（メタデータ） (2024-05-10T21:39:09Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Conversations in Galician: a Large Language Model for an Underrepresented Language [2.433983268807517]
  本稿では,ガリシア語に対する自然言語処理(NLP)を強化するために設計された2つの新しい資源を紹介する。 52,000の指示と実演を含むアルパカデータセットのガリシア適応について述べる。 データセットユーティリティのデモとして、元々モデルでサポートされていない言語であるGalicianで、LLaMA-7Bの理解と応答を微調整した。
  論文  参考訳（メタデータ） (2023-11-07T08:52:28Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Systematic Inequalities in Language Technology Performance across the World's Languages [94.65681336393425]
  本稿では,言語技術のグローバルな有用性を評価するためのフレームワークを紹介する。 本分析では, ユーザ対応技術と言語的NLPタスクの両面において, より深く研究されている。
  論文  参考訳（メタデータ） (2021-10-13T14:03:07Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。