論文の概要: Localizing AI: Evaluating Open-Weight Language Models for Languages of Baltic States

• arxiv url: http://arxiv.org/abs/2501.03952v1
• Date: Tue, 07 Jan 2025 17:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:40.921283
• Title: Localizing AI: Evaluating Open-Weight Language Models for Languages of Baltic States
• Title（参考訳）: AIのローカライズ:バルト諸国の言語に対するオープンウェイト言語モデルの評価
• Authors: Jurgita Kapočiūtė-Dzikienė, Toms Bergmanis, Mārcis Pinnis,
• Abstract要約: ローカルにデプロイ可能なオープンウェイトLLMがより少ない言語をサポートする範囲を評価する。 Llama3, Gemma2, Phi, NeMoの多言語オープンウェイトモデルのサイズと精度について検討した。 これらのモデルは、最先端の翻訳性能に近づきつつも、少なくとも20語に1回は誤りのある語彙幻覚を起こす傾向にある。
• 参考スコア（独自算出の注目度）: 1.1470070927586016
• License:
• Abstract: Although large language models (LLMs) have transformed our expectations of modern language technologies, concerns over data privacy often restrict the use of commercially available LLMs hosted outside of EU jurisdictions. This limits their application in governmental, defence, and other data-sensitive sectors. In this work, we evaluate the extent to which locally deployable open-weight LLMs support lesser-spoken languages such as Lithuanian, Latvian, and Estonian. We examine various size and precision variants of the top-performing multilingual open-weight models, Llama~3, Gemma~2, Phi, and NeMo, on machine translation, multiple-choice question answering, and free-form text generation. The results indicate that while certain models like Gemma~2 perform close to the top commercially available models, many LLMs struggle with these languages. Most surprisingly, however, we find that these models, while showing close to state-of-the-art translation performance, are still prone to lexical hallucinations with errors in at least 1 in 20 words for all open-weight multilingual LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現代の言語技術に対する私たちの期待を変えましたが、データプライバシに関する懸念は、EUの管轄外の商用LLMの使用を制限します。 これにより、政府、防衛、その他のデータに敏感な分野への応用が制限される。 本研究では,リトアニア語,ラトビア語,エストニア語など,より少ない言語をローカルに展開可能なオープンウェイトLLMがサポートする範囲を評価する。 Llama~3, Gemma~2, Phi, NeMoの機械翻訳, 複数選択質問応答, 自由形式のテキスト生成において, トップパフォーマンスの多言語オープンウェイトモデルの様々なサイズと精度のバリエーションについて検討した。 その結果、Gemma~2のような特定のモデルは、最も商業的に利用可能なモデルに近い性能を示すが、多くのLLMはこれらの言語に苦戦している。 しかし、最も驚くべきことに、これらのモデルは最先端の翻訳性能に近づきつつも、全てのオープンウェイト多言語LLMに対して少なくとも1対20ワードの誤りを伴う語彙幻覚を起こす傾向にある。

関連論文リスト

• Multilingual Encoder Knows more than You Realize: Shared Weights Pretraining for Extremely Low-Resource Languages [9.066355705304984]
  極低リソース言語におけるテキスト生成に多言語エンコーダを適用するための新しいフレームワークを提案する。 我々のフレームワークは,エンコーダとデコーダの間の重みを再利用することにより,学習したエンコーダの意味空間を活用することができる。 この枠組みを4つの中国語マイノリティ言語に適用し、XLM-SWCMを提案し、様々な下流タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T16:53:10Z)
• Language verY Rare for All [1.3124513975412255]
  本稿では,LLMファインチューニングと検索拡張生成(RAG)を組み合わせた新しい手法であるLYRA(Language verY Rare for All)を紹介する。 本研究は,既存の翻訳ツールでサポートされていないフランス語とMon'egasqueの双方向翻訳に焦点を当てた。 この結果から,レア言語翻訳におけるLYRAの有効性や,最先端のエンコーダ・デコーダモデルによく適合することを示す。
  論文  参考訳（メタデータ） (2024-12-18T15:07:23Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。