論文の概要: LIMBA: An Open-Source Framework for the Preservation and Valorization of Low-Resource Languages using Generative Models

• arxiv url: http://arxiv.org/abs/2411.13453v1
• Date: Wed, 20 Nov 2024 16:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:18.933499
• Title: LIMBA: An Open-Source Framework for the Preservation and Valorization of Low-Resource Languages using Generative Models
• Title（参考訳）: LIMBA: 生成モデルを用いた低リソース言語の保存と検証のためのオープンソースフレームワーク
• Authors: Salvatore Mario Carta, Stefano Chessa, Giulia Contu, Andrea Corriga, Andrea Deidda, Gianni Fenu, Luca Frigau, Alessandro Giuliani, Luca Grassi, Marco Manolo Manca, Mirko Marras, Francesco Mola, Bastianino Mossa, Piergiorgio Mura, Marco Ortu, Leonardo Piano, Simone Pisano, Alessia Pisu, Alessandro Sebastian Podda, Livio Pompianu, Simone Seu, Sandro Gabriele Tiddia,
• Abstract要約: この白書は低リソース言語のための言語ツールを生成するためのフレームワークを提案する。 このような言語に対するインテリジェントな応用を妨げるデータ不足に対処することにより、言語多様性の促進に寄与する。
• 参考スコア（独自算出の注目度）: 62.47865866398233
• License:
• Abstract: Minority languages are vital to preserving cultural heritage, yet they face growing risks of extinction due to limited digital resources and the dominance of artificial intelligence models trained on high-resource languages. This white paper proposes a framework to generate linguistic tools for low-resource languages, focusing on data creation to support the development of language models that can aid in preservation efforts. Sardinian, an endangered language, serves as the case study to demonstrate the framework's effectiveness. By addressing the data scarcity that hinders intelligent applications for such languages, we contribute to promoting linguistic diversity and support ongoing efforts in language standardization and revitalization through modern technologies.
• Abstract（参考訳）: マイノリティ言語は文化遺産の保存に不可欠であるが、デジタルリソースの制限や、高リソース言語で訓練された人工知能モデルの支配により、絶滅のリスクが高まっている。 白書では,低リソース言語のための言語ツールを作成するためのフレームワークを提案し,保存作業を支援する言語モデルの開発を支援するために,データ生成に焦点を当てた。 絶滅危惧言語であるサルデーニャ語は、フレームワークの有効性を示すケーススタディとして機能する。 このような言語に対するインテリジェントな応用を妨げるデータ不足に対処することによって、言語多様性の促進に寄与し、現代技術による言語の標準化と再生への継続的な取り組みを支援します。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• Harnessing the Power of Artificial Intelligence to Vitalize Endangered Indigenous Languages: Technologies and Experiences [31.62071644137294]
  我々は、世界の言語の多様性の低下と、AIとNLPに固有の倫理的課題をもたらすインディジェネラル言語について論じる。 Indigenous Language のための高品質な機械学習トランスレータの開発に励む成果を報告する。 私たちは2023年と2024年にブラジルの先住民コミュニティで実施したプロジェクトで構築したプロトタイプを紹介します。
  論文  参考訳（メタデータ） (2024-07-17T14:46:37Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• From Bytes to Borsch: Fine-Tuning Gemma and Mistral for the Ukrainian Language Representation [0.0]
  生成型大規模言語モデル(LLM)は、テキスト理解と生成において非並列的な能力を示すイノベーションの最前線にある。 しかし、ウクライナ語のような低リソース言語の限られた表現は、この技術のリーチと関連性を制限し、顕著な課題となっている。 本稿は, オープンソースのGemmaとMistral LLMをウクライナのデータセットで微調整し, 言語能力の向上を目指す。
  論文  参考訳（メタデータ） (2024-04-14T04:25:41Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Towards Bridging the Digital Language Divide [4.234367850767171]
  多言語言語処理システムは、しばしばハードワイヤで、通常不随意で、特定の言語に対して隠された表現的嗜好を示す。 偏りのある技術は、しばしば表現される言語の複雑さに不公平な研究・開発手法の結果であることを示す。 我々は,技術設計と方法論の両面から,言語バイアスを減らすことを目的とした新しいイニシアティブを提案する。
  論文  参考訳（メタデータ） (2023-07-25T10:53:20Z)
• Overcoming Language Disparity in Online Content Classification with Multimodal Learning [22.73281502531998]
  大規模言語モデルは、テキスト検出と分類タスクのための最先端のソリューションを開発するための標準となっている。 高度な計算技術と資源の開発は、英語に不相応に焦点が当てられている。 マルチモーダル機械学習を用いて画像に含まれる情報を統合するという約束を探求する。
  論文  参考訳（メタデータ） (2022-05-19T17:56:02Z)
• Not always about you: Prioritizing community needs when developing endangered language technology [5.670857685983896]
  研究者や先住民の言語コミュニティのメンバーが直面する、ユニークな技術的、文化的、実践的、倫理的課題について論じる。 本報告では, 言語教師, マスタースピーカー, および先住民コミュニティの高齢者の視点と, 学術的視点について報告する。
  論文  参考訳（メタデータ） (2022-04-12T05:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。