論文の概要: Homebrewed SLMs: Autoregressive and Masked Diffusion Language Models Built at Home for Portuguese
- arxiv url: http://arxiv.org/abs/2610.40533v1
- Date: Thu, 29 Oct 2026 17:34:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.550379
- Title: Homebrewed SLMs: Autoregressive and Masked Diffusion Language Models Built at Home for Portuguese
- Title（参考訳）: 自家製SLM: 自家用自家用自家用拡散言語モデル
- Abstract要約: このチュートリアルは、1つのコンシューマGPU上で、スクラッチからトークンライザを含む1つをトレーニングする。
専門ドメインのタスクに良いかどうかを判断する方法を示します。
- 参考スコア（独自算出の注目度）: 0.5076419064097734
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Building a language model of one's own no longer requires a data centre. This tutorial trains one from scratch, tokenizer included, on one consumer GPU, and shows how to tell whether it is good for the tasks of a specialist domain. It proposes no new method. It releases a tested Python package and two notebooks in Brazilian Portuguese with autoregressive and masked diffusion generation on one network, a preregistered comparison protocol, legal tasks built from text alone with a Kneser-Ney floor and public yardsticks, reference numbers for models of 11 to 12M parameters, and a catalogue of defects that only measurement revealed. On Brazilian prose and federal laws, at minutes per run, the autoregressive mode peaks at 64 epochs over the same text and then memorises it, while masked diffusion improves up to 256. At their best points on test, the diffusion bound exceeds the autoregressive likelihood by 0.06 bits per byte, within the preregistered minimum effect. On held-out laws and on acts published after training, the model ties a 6-gram floor in likelihood on the same windows, and it loses to the floor at continuing those acts. It beats the floor at detecting tampered text, and fills cross-references more often than the floor and public models of 160M and 630M parameters, only in decrees, a genre absent from training, where those scorers stay near or below chance, and in filling the blank only when each group weighs the same, since per item it ties the 630M model. On laws, the public models, trained with about 5x10^2 to 10^5 times its compute, lead in tampered text and continuation. The blind human reading is preregistered and not part of this version.
- Abstract（参考訳）: 自分の言語モデルを構築するには、もはやデータセンターを必要としない。
このチュートリアルは、1つのコンシューマGPU上で1つのスクラッチからトークンライザをトレーニングし、それがスペシャリストドメインのタスクに適しているかどうかを判断する方法を示す。
それは新しい方法を提案しない。
テスト対象のPythonパッケージとブラジルポルトガル語の2つのノートブックには,1つのネットワーク上での自動回帰とマスク付き拡散生成,事前登録された比較プロトコル,Kneser-Neyフロアとパブリックヤードスティックを備えたテキストだけで構築された法的タスク,11～12Mパラメータのモデルに対する参照番号,測定のみの欠陥のカタログがある。
ブラジルの散文法と連邦法では、1ランあたり数分で、自己回帰モードは同じテキスト上で64エポックでピークに達し、それを記憶し、マスク付き拡散は256に改善する。
試験における最良の点において、拡散境界は、事前登録された最小効果の中で、1バイト当たり0.06ビットの自己回帰確率を超える。
トレーニング後に公表された法律や行為について、モデルは同じ窓に6グラムの床を結び、それらの行為を継続する際にフロアに負ける。
改ざんされたテキストを検知すると床を叩き、フロアと公のモデルの160Mと630Mよりも頻繁に参照を埋めるが、宣誓書では、これらのスコアラーが機会に近づかないジャンルであり、各グループが同じ重さのときにのみ空白を埋める。
法則では、公開モデルは、約5×10^2から10^5の計算で訓練され、改ざんされたテキストと継続が導かれる。
盲目の人間の読書は事前に登録されており、このバージョンには含まれていない。
関連論文リスト
- Apertus 1.5: From Open Text Models to Open Multimodal Reasoners [148.09760591577466]
Apertus 1.5は、完全にオープンなApertusファミリーをテキストからマルチモーダル推論まで拡張している。
マルチモーダリティはトークン化子を通して入力され、言語モデルヘッドはテキストに制限され、アーキテクチャは変わらない。
論文 参考訳（メタデータ） (2026-10-11T11:34:43Z) - Learning to Learn a Language [0.29465623430708904]
実際のテキストのプレフィックスが与えられた後、PFLMは凍結重み付きで文脈で言語を予測することを学ぶ。
モデルはトレーニング中に同じ言語を2度見ることはないので、継続を予測する唯一の方法は、プレフィックスから言語を推論することである。
論文 参考訳（メタデータ） (2026-10-05T06:52:58Z) - ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch [0.0]
ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。
1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
論文 参考訳（メタデータ） (2026-09-18T20:33:02Z) - Bekko Embedding: Parameter-Efficient Multilingual Retrieval with Ultra-Compact Encoders [0.0]
以下はBekko Embeddingの最小モデルであるBekko-embedding-v1-a8mで、8Mのアクティブパラメータ (AP) 以下である。
MMTEB Multilingual v2 Retrievalでは、多言語e5ファミリーとBGE-M3(APの40倍)の上に56.2得点する。
高品質のbekko-embedding-v1-a25m (わずか25M AP)は、gte-multilingual-baseと同等の57.5mに達し、Multilingual NanoBEIR (14言語)がこの傾向を確認している。
論文 参考訳（メタデータ） (2026-07-28T01:13:37Z) - Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model [0.23332469289621785]
我々はDiffusionGemmaのための音声ネイティブインタフェースをトレーニングし、一様でランダムな離散拡散によってテキストを生成する。
自然な訓練対象は、既に無視されている注意によってのみ、その勾配がプロジェクターに到達するため、音声を接地できないことが判明した。
結果として得られたモデルは、LibriSpeechテストクリーン上で6.6%のワードエラー率に達し、発話の長さに関わらずおよそ8つの並列ステップで書き起こされ、6つの言語で訓練された単一のアダプタを使用する。
論文 参考訳（メタデータ） (2026-07-14T17:53:22Z) - DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。
並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。
当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
論文 参考訳（メタデータ） (2026-04-09T14:35:42Z) - Simple and Effective Masked Diffusion Language Models [48.68198363304619]
単純なマスク付き離散拡散は以前考えられていたよりも性能が高いことを示す。
私たちの目標はシンプルなフォーム -- 古典的なマスキング言語モデリング損失の混合です。
言語モデリングベンチマークでは、現代のエンジニアリングプラクティスで訓練された様々なマスク付き拡散モデルが、新しい最先端技術を実現している。
論文 参考訳（メタデータ） (2024-06-11T17:51:40Z) - Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。
Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文 参考訳（メタデータ） (2023-12-16T19:12:45Z) - Understanding writing style in social media with a supervised
contrastively pre-trained transformer [57.48690310135374]
オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。
本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。
512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
論文 参考訳（メタデータ） (2023-10-17T09:01:17Z) - Nonparametric Masked Language Modeling [113.71921977520864]
既存の言語モデル(LM)は、有限語彙上のソフトマックスでトークンを予測する。
NPMは,このソフトマックスを参照コーパス内の各フレーズの非パラメトリック分布に置き換える最初の非パラメトリックマスク付き言語モデルである。
NPMは、コントラスト目的と全コーパス検索に対するバッチ内近似で効率的に訓練することができる。
論文 参考訳（メタデータ） (2022-12-02T18:10:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。