論文の概要: ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch

• arxiv url: http://arxiv.org/abs/2609.25081v1
• Date: Fri, 18 Sep 2026 20:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.024195
• Title: ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch
• Title（参考訳）: ufakzeka-1:スクラッチによるトルコ語モデルの構築と評価
• Abstract要約: ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。 1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe ufakzeka-1, a 151M-parameter (182M with embeddings) decoder-only Turkish language model pretrained from scratch on 13.5B tokens of openly licensed text and instruction-tuned for chat, at a total cost of about \$286 in cloud GPU, API and notebook time. The contribution is not the model's capability, which is what a model this size can be expected to have, but the record of building and measuring it: a Turkish byte-level tokenizer at 1.77 tokens per word, a three-stage pretraining schedule, a post-training mixture of openly licensed and generated data, and an evaluation battery of release gates, a rule-checked sweep of 5,508 conversations, judged conversations and hand tests, all with prompts held out from the training data, enforced by decontamination inside the data build and by a checked-in invariant script we run before each build. We report three findings that we believe transfer to other small-model efforts: a safety gate that had been "fixed" with training data written from its own questions read 64/64 while the honest figure was 34/64; training-seed variance was as large as the spread across every recipe we tried, so single-seed comparisons at this scale are uninformative; and data rounds repaired only what was absent from the data, while identity tracking over long context and multi-turn arithmetic did not move across any data change we tried, which we read as limits of the model size rather than gaps in the data, a reading the next, larger model will test. Weights, the data recipe, the evaluation code and the spend ledger are released under Apache-2.0.
• Abstract（参考訳）: オープンライセンスのテキストとチャット用に調整された13.5Bトークンに対して,スクラッチから事前訓練されたデコーダのみのトルコ語モデルであるufakzeka-1を,クラウドGPU,API,ノートブックの合計で約286ドルの費用で記述する。 トルコのバイトレベルのトークンライザ1ワード当たり1.77トークン、3段階の事前トレーニングスケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリー、ルールチェックされた5,508の会話、判断された会話と手動テスト、これらすべてがトレーニングデータから切り離されたプロンプト、データビルド内およびビルド前のチェックイン不変スクリプトによって実行されます。 正直な数字が34/64であるのに対して、64/64のトレーニングデータで"修正"された安全ゲート、私たちが試したレシピの拡散に匹敵するトレーニングシードのばらつきがあったため、このスケールでのシングルシードの比較は不変であり、データラウンドはデータから欠落したもののみを修復した。 重量、データレシピ、評価コード、支出台帳はApache-2.0でリリースされている。

関連論文リスト

• Arkios: An Open Bilingual English-Nepali Language Model Trained From Scratch, with a Devanagari-Aware Tokenizer [0.0]
  我々は150Bのバイリンガル・イングリッシュ・ネパリ文字のトークンにスクラッチから事前訓練された高密度トランスフォーマーArkiosを提示する。 アルキオスは、訓練トークンの桁数が桁違いであるにもかかわらず、3つの比較可能な大きさのオープンモデル(Pythia-1.4B、TinyLlama-1.1B、OLMo-1B)を超える。
  論文  参考訳（メタデータ） (2026-08-30T23:39:44Z)
• Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention [0.0]
  我々は, 事前学習をせずに, 450-700Kパラメータの分類に基づく強いベースラインと, バイトレベルのアテンションフリーアーキテクチャを一致させることができることを示した。 我々は「テキストのように読む」ための非パラメトリックなゲーム抵抗楽器FORM DISTANCEを紹介する。 また,4つのアーキテクチャ追加が役に立たないことを報告し,その5分の1のパラメータで,学習テーブルのトップ1の精度の94%に達する計算辞書を作成した。
  論文  参考訳（メタデータ） (2026-08-05T10:44:26Z)
• DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search [2.0669978569487384]
  英語の教師が翻訳学習を通して多言語検索にどのように移行するかを示す。 我々はまず、34の公開ソースにわたる1.4Bペアから665万の英語コントラスト事前学習ペアを再構築し、キュレートした。 検証された英語データを8言語に翻訳し、2.8B対の言語間サンプルを生成する。
  論文  参考訳（メタデータ） (2026-07-29T17:50:51Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data? [112.0422370149713]
  我々は、トレーニングデータの分布的構成を明らかにすることを目的として、データ混合推論と呼ぶタスクに取り組む。 従来見過ごされていた情報源であるバイトペアエンコーディング(BPE)トークン化器をベースとした,新たな攻撃手法を提案する。 我々は,自然言語,プログラミング言語,データソースの既知混合に基づいて訓練されたトークン化剤に対して,高い精度で混合比を回復することを示す。
  論文  参考訳（メタデータ） (2024-07-23T16:13:22Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。