論文の概要: MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP

• arxiv url: http://arxiv.org/abs/2506.04385v1
• Date: Wed, 04 Jun 2025 18:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.390522
• Title: MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP
• Title（参考訳）: MELABenchv1: より小型のマルタNLPモデルに対する大規模言語モデルのベンチマーク
• Authors: Kurt Micallef, Claudia Borg,
• Abstract要約: 低リソース言語であるMalteseにおける55の公開言語モデル(LLM)の性能を評価する。 我々の実験は、多くのモデルが、特に生成タスクにおいて、性能が良くないことを強調している。 本研究は, 事前訓練および指導訓練におけるマルタへの事前曝露が最も重要な要因であると結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance across various Natural Language Processing (NLP) tasks, largely due to their generalisability and ability to perform tasks without additional training. However, their effectiveness for low-resource languages remains limited. In this study, we evaluate the performance of 55 publicly available LLMs on Maltese, a low-resource language, using a newly introduced benchmark covering 11 discriminative and generative tasks. Our experiments highlight that many models perform poorly, particularly on generative tasks, and that smaller fine-tuned models often perform better across all tasks. From our multidimensional analysis, we investigate various factors impacting performance. We conclude that prior exposure to Maltese during pre-training and instruction-tuning emerges as the most important factor. We also examine the trade-offs between fine-tuning and prompting, highlighting that while fine-tuning requires a higher initial cost, it yields better performance and lower inference costs. Through this work, we aim to highlight the need for more inclusive language technologies and recommend that researchers working with low-resource languages consider more "traditional" language modelling approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著な性能を示してきた。 しかし、低リソース言語に対する効果は依然として限られている。 本研究では,低リソース言語であるマルタ語における55個のLLMの性能を,11個の識別的・生成的タスクをカバーする新しいベンチマークを用いて評価した。 我々の実験は、多くのモデルが、特に生成タスクにおいて、貧弱に動作し、より小さな微調整されたモデルが、全てのタスクにおいて、より良く機能することを強調している。 多次元解析から,性能に影響を及ぼす諸要因について検討した。 本研究は, 事前訓練および指導訓練におけるマルタへの事前曝露が最も重要な要因であると結論付けている。 また、微調整とプロンプトのトレードオフについても検討し、微調整には初期コストが高くなるが、性能の向上と推論コストの低減が求められることを強調した。 この作業を通じて、より包括的な言語技術の必要性を強調し、低リソース言語を扱う研究者がより"伝統的な"言語モデリングアプローチを検討することを推奨することを目指している。

関連論文リスト

• Multilingual Definition Modeling [1.9409995498330783]
  私たちは4つの新言語(スペイン語、フランス語、ポルトガル語、ドイツ語)に単言語辞書データを使用します。 このデータに微調整を施すと, 単文単語の定義モデル上で, 事前学習した多言語言語モデルの性能を検証した。 結果から,多言語モデルでは英語のオンペア化が可能であるが,言語間相乗効果の可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-02T09:48:37Z)
• Improving Multilingual Math Reasoning for African Languages [49.27985213689457]
  データタイプ(翻訳と合成)、トレーニングステージ(事前学習と後学習)、その他のモデル適応構成の異なる組み合わせを評価する実験を行う。 実験では,Llama 3.1 モデルファミリをベースモデルとして,数学的推論タスクに着目した。
  論文  参考訳（メタデータ） (2025-05-26T11:35:01Z)
• LLMic: Romanian Foundation Language Model [76.09455151754062]
  ルーマニア語に特化して設計された基礎言語モデルである LLMic について述べる。 英語からルーマニア語への翻訳作業において,事前学習後の言語翻訳のための微調整 LLMic が既存の解よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-13T22:14:45Z)
• Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning [0.4194295877935868]
  本研究では,ローランド適応 (LoRA) -高効率ファインチューニング (PEFT) がマラウイの多言語Gemmaモデルに及ぼす影響について検討した。 52,000対の命令応答対を持つ翻訳データセットを用いて、評価結果が微調整後に低下する一方で、手動による評価では、微調整されたモデルが元のモデルよりも優れていることがしばしば示唆されている。
  論文  参考訳（メタデータ） (2024-11-27T18:14:38Z)
• InkubaLM: A small language model for low-resource African languages [9.426968756845389]
  InkubaLMは0.4億のパラメータを持つ小さな言語モデルである。 パラメータ数が大幅に大きいモデルに匹敵するパフォーマンスを実現する。 複数の言語にまたがる顕著な一貫性を示す。
  論文  参考訳（メタデータ） (2024-08-30T05:42:31Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。