論文の概要: Krikri: Advancing Open Large Language Models for Greek

• arxiv url: http://arxiv.org/abs/2505.13772v1
• Date: Mon, 19 May 2025 23:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.568441
• Title: Krikri: Advancing Open Large Language Models for Greek
• Title（参考訳）: Krikri: ギリシャのオープンな大規模言語モデルの改善
• Authors: Dimitris Roussis, Leon Voukoutis, Georgios Paraskevopoulos, Sokratis Sofianopoulos, Prokopis Prokopidis, Vassilis Papavasileiou, Athanasios Katsamanis, Stelios Piperidis, Vassilis Katsouros,
• Abstract要約: ギリシャ語に適した最先端の大規模言語モデルであるLlama-Krikri-8Bを紹介する。 Llama-Krikri-8Bは、言語的ニュアンスへの優れた適応を保証するために、高品質なギリシャ語のデータを広範囲に訓練してきた。
• 参考スコア（独自算出の注目度）: 6.922876845922809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Llama-Krikri-8B, a cutting-edge Large Language Model tailored for the Greek language, built on Meta's Llama 3.1-8B. Llama-Krikri-8B has been extensively trained on high-quality Greek data to ensure superior adaptation to linguistic nuances. With 8 billion parameters, it offers advanced capabilities while maintaining efficient computational performance. Llama-Krikri-8B supports both Modern Greek and English, and is also equipped to handle polytonic text and Ancient Greek. The chat version of Llama-Krikri-8B features a multi-stage post-training pipeline, utilizing both human and synthetic instruction and preference data, by applying techniques such as MAGPIE. In addition, for evaluation, we propose three novel public benchmarks for Greek. Our evaluation on existing as well as the proposed benchmarks shows notable improvements over comparable Greek and multilingual LLMs in both natural language understanding and generation as well as code generation.
• Abstract（参考訳）: 本稿では,メタのLlama 3.1-8Bをベースとした,ギリシア語用に設計された最先端のLarge Language ModelであるLlama-Krikri-8Bを紹介する。 Llama-Krikri-8Bは、言語的ニュアンスへの優れた適応を保証するために、高品質なギリシャ語のデータを広範囲に訓練してきた。 80億のパラメータを持ち、効率的な計算性能を維持しながら高度な機能を提供する。 Llama-Krikri-8Bは現代ギリシア語と英語の両方をサポートし、ポリトニックテキストと古代ギリシア語を扱う。 Llama-Krikri-8Bのチャットバージョンは、MAGPIEのような技術を適用して、人間と合成の指導データと嗜好データの両方を利用するマルチステージのポストトレーニングパイプラインを備えている。 さらに,評価のために,ギリシャ語に対する3つの新しい公開ベンチマークを提案する。 提案したベンチマークと既存ベンチマークによる評価は,自然言語の理解と生成およびコード生成において,ギリシア語と多言語 LLM に比較して顕著な改善が見られた。

関連論文リスト

• Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian [44.13635168077528]
  Vikhr (英語: Vikhr) は、ロシア語に特化して設計された、バイリンガルなオープンソースの命令フォローリング LLM のシリーズである。 Vikhrは、適応されたトークン化剤の語彙を特徴とし、全ての重みのトレーニングと指導の継続を行っている。 モデルの重み、命令セット、コードは公開されています。
  論文  参考訳（メタデータ） (2024-05-22T18:58:58Z)
• Baichuan 2: Open Large-scale Language Models [51.34140526283222]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• GreekBART: The First Pretrained Greek Sequence-to-Sequence Model [13.429669368275318]
  我々は,BARTベースアーキテクチャをベースとした最初のSeq2SeqモデルであるA GreekBARTを紹介し,大規模なギリシャ語コーパスを事前訓練する。 我々は,BART-random, Greek-BERT, XLM-Rを様々な識別課題で評価し,比較した。
  論文  参考訳（メタデータ） (2023-04-03T10:48:51Z)
• MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
  英語以外の自然言語コマンドからコード生成をベンチマークします。 スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。 難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
  論文  参考訳（メタデータ） (2022-03-16T04:21:50Z)
• Multi-granular Legal Topic Classification on Greek Legislation [4.09134848993518]
  ギリシア語で書かれた法律文書を分類する作業について研究する。 ギリシャの法律文書分類のタスクがオープンな研究プロジェクトで検討されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-09-30T17:43:00Z)
• PENELOPIE: Enabling Open Information Extraction for the Greek Language through Machine Translation [0.30938904602244344]
  EACL 2021 SRWは,高リソース言語と低リソース言語のギャップを埋めることを目的とした方法論である。 我々は、トランスフォーマーアーキテクチャに基づいて、英語からギリシャ語、ギリシャ語への翻訳(nmt)モデルを構築した。 我々はこれらのNMTモデルを利用してギリシア語のテキストの英訳をNLPパイプラインの入力として作成し、一連の前処理と三重抽出タスクを適用した。
  論文  参考訳（メタデータ） (2021-03-28T08:01:58Z)
• GREEK-BERT: The Greeks visiting Sesame Street [25.406207104603027]
  BERTのようなトランスフォーマーベースの言語モデルは、いくつかの下流自然言語処理タスクで最先端のパフォーマンスを達成した。 GREEK-BERTはモノリンガルなBERTベースの現代ギリシア語言語モデルである。
  論文  参考訳（メタデータ） (2020-08-27T09:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。