論文の概要: Neurograf v1: An End-to-End Romanian-First Language Model Family

• arxiv url: http://arxiv.org/abs/2610.13134v1
• Date: Fri, 09 Oct 2026 07:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.453974
• Title: Neurograf v1: An End-to-End Romanian-First Language Model Family
• Title（参考訳）: Neurograf v1: エンド・ツー・エンドのルーマニア語第一言語モデルファミリー
• Abstract要約: 実験的なエンドツーエンドのルーマニア語第一言語モデルパイプラインであるNeurograf v1を提案する。 パイプラインは、ルーマニアの635GBのコーパスであるRoSferaと、175.7百万のドキュメント、80kバイトレベルのBPEトークンライザ、160Mから6Bパラメータのデコーダのみの5つのモデル、131億のトークンでトレーニングされた5つのデコーダのみのモデル、3つの命令調整されたアシスタント、2つの対照的に訓練された埋め込みモデルで構成されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Neurograf v1, an experimental end-to-end Romanian-first language-model pipeline developed to investigate the feasibility of training language models from scratch for a lower-resource European language. The pipeline comprises RoSfera, a 635 GB Romanian corpus containing 175.7 million documents; an 80k byte-level BPE tokenizer; five decoder-only models ranging from 160M to 6B parameters, trained on 131 billion tokens; three instruction-tuned assistants; and two contrastively trained embedding models. Training and evaluation were conducted using computing infrastructure at ELI-NP/IFIN-HH. The model family exhibits consistent scaling of validation loss and increasing Romanian factual and cultural knowledge with model size. On the 1,000-question WWTBM benchmark, Neurograf-6B achieves 69.89% accuracy on Romanian-context questions, while Neurograf-3.2B reaches 67.38%. Compute-optimal analysis yields a parameter-scaling exponent of approximately 0.423. Neurograf v1 serves as an experimental demonstrator rather than a production system. The study identifies practical challenges involving diacritic preservation, corpus quality, data composition, and tokenization efficiency, while demonstrating the feasibility of developing Romanian-first base models, instruction-following assistants, and semantic embedding models within a unified training pipeline.
• Abstract（参考訳）: 実験的なエンド・ツー・エンドのルーマニア語第一言語モデルパイプラインであるNeurograf v1を提案する。 パイプラインは、ルーマニアの635GBのコーパスであるRoSferaと、175.7百万のドキュメント、80kバイトレベルのBPEトークンライザ、160Mから6Bパラメータのデコーダのみの5つのモデル、131億のトークンでトレーニングされた5つのデコーダのみのモデル、3つの命令調整されたアシスタント、2つの対照的に訓練された埋め込みモデルで構成されている。 ELI-NP/IFIN-HHにおける計算基盤を用いた学習と評価を行った。 モデルファミリーは、検証損失の一貫性のあるスケーリングと、モデルサイズによるルーマニアの事実と文化的知識の増大を示している。 1000クエストのWWTBMベンチマークでは、Neurograf-6Bはルーマニア語による質問に対して69.89%の精度を達成し、Neurograf-3.2Bは67.38%に達した。 計算最適解析により、パラメータスケーリング指数は約0.423となる。 ニューログラフv1は生産システムではなく実験実証機として機能する。 本研究は,対話的保存,コーパスの品質,データ構成,トークン化効率に関する実践的課題を明らかにし,ルーマニア第一ベースモデル,命令追従アシスタント,セマンティック埋め込みモデルを統一トレーニングパイプライン内に構築する可能性を示した。

関連論文リスト

• Unlocking the Potential of Multiple BERT Models for Bangla Question Answering in NCTB Textbooks [0.0]
  教育環境におけるテキスト理解の評価は,学生のパフォーマンスの理解とカリキュラムの有効性の向上に不可欠である。 本研究では,国立カリキュラム・テキストブックボード(NCTB)の授業6-10用教科書から,Bangla節に基づく質問応答を自動的に評価する,最先端の言語モデルであるRoBERTa Base,Bangla-BERT,BERT Base-inの能力について検討した。
  論文  参考訳（メタデータ） (2024-12-24T13:59:23Z)
• SnakModel: Lessons Learned from Training an Open Danish Large Language Model [18.6197271443555]
  本稿では,Llama2-7Bに基づくデンマークの大規模言語モデル(LLM)であるSnakModelを紹介する。 我々は13.6Bのデンマーク語の単語を継続的に事前訓練し、さらに3.7Mのデンマーク語の命令をチューニングした。
  論文  参考訳（メタデータ） (2024-12-17T14:38:21Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• ECRC: Emotion-Causality Recognition in Korean Conversation for GCN [0.0]
  本稿では,新しいグラフ構造に基づく会話モデル(ECRC)の感情因果認識を提案する。 本研究では,単語レベルの埋め込みと文レベルの埋め込みの両方を活用することで,過去の埋め込みの限界を克服する。 このモデルは、双方向長短期メモリ(Bi-LSTM)とグラフニューラルネットワーク(GCN)モデルを韓国の会話分析のために一意に統合する。
  論文  参考訳（メタデータ） (2024-03-16T02:07:31Z)
• FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
  私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。 将来的にはこれが基本モデルになると思います。
  論文  参考訳（メタデータ） (2021-11-09T02:17:15Z)
• ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation [25.430130072811075]
  大規模知識強化モデルの事前学習のための統合フレームワーク ERNIE 3.0 を提案する。 自動回帰ネットワークと自動エンコードネットワークを融合することで、トレーニングされたモデルを自然言語理解と生成タスクの両方に容易に適合させることができる。 我々は,テキストと大規模知識グラフからなる4TBコーパス上で,100億のパラメータでモデルを訓練した。
  論文  参考訳（メタデータ） (2021-07-05T16:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。