Fugu-MT 論文翻訳(概要): RoQLlama: A Lightweight Romanian Adapted Language Model

論文の概要: RoQLlama: A Lightweight Romanian Adapted Language Model

arxiv url: http://arxiv.org/abs/2410.04269v1
Date: Sat, 5 Oct 2024 19:14:11 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 08:49:52.165654
Title: RoQLlama: A Lightweight Romanian Adapted Language Model
Title（参考訳）: RoQLlama: 軽量なルーマニア適応言語モデル
Authors: George-Andrei Dima, Andrei-Marius Avram, Cristian-George Crăciun, Dumitru-Clementin Cercel,
Abstract要約: トレーニングにQLoRAを用いることで,計算機資源の削減という課題に対処する。我々は,量子化LDMであるRoQLlama-7bをリリースした。ルーマニア語で単一選択の医療質問を含む新しいルーマニア語データセットRoMedQAを紹介した。
参考スコア（独自算出の注目度）: 2.1892046440619626
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The remarkable achievements obtained by open-source large language models (LLMs) in recent years have predominantly been concentrated on tasks involving the English language. In this paper, we aim to advance the performance of Llama2 models on Romanian tasks. We tackle the problem of reduced computing resources by using QLoRA for training. We release RoQLlama-7b, a quantized LLM, which shows equal or improved results compared to its full-sized counterpart when tested on seven Romanian downstream tasks in the zero-shot setup. Also, it consistently achieves higher average scores across all few-shot prompts. Additionally, we introduce a novel Romanian dataset, namely RoMedQA, which contains single-choice medical questions in Romanian.
Abstract（参考訳）: 近年のオープンソースの大規模言語モデル(LLM)による顕著な成果は、主に英語に関わるタスクに集中している。本稿では,ルーマニア語タスクにおけるLlama2モデルの性能向上を目指す。トレーニングにQLoRAを用いることで,計算機資源の削減という課題に対処する。我々は、ゼロショット設定でルーマニアの7つの下流タスクでテストした場合、フルサイズのものと同等または改善された結果を示す量子化LDMであるRoQLlama-7bをリリースした。また、いくつかのプロンプトにまたがる平均スコアも一貫して達成する。さらに,ルーマニア語における単一選択医療質問を含むルーマニア語データセット,すなわちRoMedQAを導入する。

関連論文リスト

Demystifying Multilingual Chain-of-Thought in Process Reward Modeling [71.12193680015622]
プロセス報酬モデル(PRM)を多言語設定に拡張するという課題に対処する。我々は、7つの言語にまたがるデータセット上で多言語PRMを訓練し、それを英語から翻訳する。本結果は,学習言語数と英語データ量の両方に対する多言語PRMの感度を強調した。
論文参考訳（メタデータ） (2025-02-18T09:11:44Z)
LLMic: Romanian Foundation Language Model [76.09455151754062]
ルーマニア語に特化して設計された基礎言語モデルである LLMic について述べる。英語からルーマニア語への翻訳作業において,事前学習後の言語翻訳のための微調整 LLMic が既存の解よりも優れていることを示す。
論文参考訳（メタデータ） (2025-01-13T22:14:45Z)
PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks [57.86928556668849]
大規模言語モデル(LLM)は、近ごろ、コンテキスト内学習(ICL)を通じて、印象的な数ショットの学習能力を実証した。 ICLのパフォーマンスは、数発のデモの選択に大きく依存しており、最も最適な例の選択は永続的な研究課題である。本稿では,低リソースのIndic言語におけるICLの性能向上を目的とした,新しい代替最小化手法であるPromptRefineを提案する。
論文参考訳（メタデータ） (2024-12-07T17:51:31Z)
Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文参考訳（メタデータ） (2024-10-26T00:39:44Z)
"Vorbeşti Româneşte?" A Recipe to Train Powerful Romanian LLMs with English Instructions [40.64721381920061]
ルーマニア語用にカスタマイズされたオープンソースのLLMを収集、翻訳し、評価し、リリースするのはこれが初めてです。我々は,RoLLMsの有用性と高い性能について,各ボードにまたがって最先端の結果を得ることによって論じる。
論文参考訳（メタデータ） (2024-06-26T11:39:51Z)
Language Models can Exploit Cross-Task In-context Learning for Data-Scarce Novel Tasks [22.66167973623777]
LLM(Large Language Models)は、ICL(In-context Learning)機能によってNLPを変換した。本稿では,予め定義されたタスクのラベル付き例から新しいタスクまで,LLMが一般化できるかどうかを検討する。 LLaMA-2 7Bは107%, LLaMA-2 13Bは18.6%, GPT3.5は3.2%であった。
論文参考訳（メタデータ） (2024-05-17T05:20:49Z)
GeMQuAD : Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learning [4.8838210812204235]
本稿では,対象言語に1つの例があるICLを用いて生成されたデータセットに対して,半教師付き学習手法であるGeMQuADを提案する。我々は、特に低リソースの多言語設定において、モデル性能を向上させるために、高品質なデータを反復的に識別する。我々のフレームワークは、ヒンディー語で0.22/1.68 F1/EMポイント、MLQAデータセットでスペイン語で0.82/1.37 F1/EMポイントで機械翻訳拡張モデルより優れています。
論文参考訳（メタデータ） (2024-04-14T06:55:42Z)
RoCode: A Dataset for Measuring Code Intelligence from Problem Definitions in Romanian [10.035193313198207]
ルーマニア語で書かれた2,642問題からなる競合プログラミングデータセットであるRoCodeを紹介する。我々は、英語以外の言語のためのコードモデルを開発する必要があると主張している。
論文参考訳（メタデータ） (2024-02-20T18:32:47Z)
PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
論文参考訳（メタデータ） (2023-04-24T15:46:26Z)
RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question Answering [87.18962441714976]
堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
論文参考訳（メタデータ） (2022-10-25T21:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。