論文の概要: Pretraining and adapting a language model on a dependency-free stack: GPT-2 124M from random weights, reproduced against llm.c, and a clinical adapter for Qwen3-0.6B
- arxiv url: http://arxiv.org/abs/2609.28568v1
- Date: Wed, 23 Sep 2026 11:28:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.410529
- Title: Pretraining and adapting a language model on a dependency-free stack: GPT-2 124M from random weights, reproduced against llm.c, and a clinical adapter for Qwen3-0.6B
- Title（参考訳）: 無依存スタック上での言語モデルの事前学習と適応:ランダムウェイトからGPT-2 124M、llm.c、Qwen3-0.6Bに対する臨床アダプター
- Abstract要約: numbatは、Zigで記述された機械学習スタックで、サードパーティのランタイム依存関係はない。
我々は、ウェブテキストの9.91Bトークンのランダム初期化から124.4MパラメータGPT-2をトレーニングし、その後、個別の小さなモデルを適用して臨床質問応答を監督する。
参照実装は、両方の段階で同じハードウェア上で動作し、それぞれを停止する権限を持つサイドカーである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Almost every language model in service was trained by one family of software. That concentration makes a question hard to settle: how much of what is known about training a language model describes language models, and how much describes that software? Settling it needs a second implementation able to carry a model through a whole lifecycle rather than reproduce one operator. We report such a lifecycle. Using numbat, a machine-learning stack written in Zig with no third-party runtime dependencies, we pretrain a 124.4 M-parameter GPT-2 from random initialisation over 9.91 B tokens of web text, then adapt a separate small model to clinical question answering. A reference implementation runs on identical hardware at both stages, and a sidecar with authority to halt a run supervises each. Agreement is close. Held-out cross-entropy finishes at 3.2588 against a published 3.29, and HellaSwag at 0.3053 against 0.299; across 8 paired evaluations it sits below a same-machine reference at every point, by 0.0608 on average. Re-running that reference on different hardware moves it 0.0035, which bounds how much of any gap is method rather than framework. Throughput does not pay for agreement: measured in one session at a production configuration, numbat reaches 43,374 tokens per second against PyTorch's 41,202, scaling 2.769x over three cards. Clinical adaptation ends at 2.1899 held-out loss against 2.1941. Neither model is a medical device, and neither is validated for clinical use.
- Abstract（参考訳）: サービス中のほとんどの言語モデルは、ある種類のソフトウェアによって訓練されました。
言語モデルのトレーニングで知られていることのどれ程が言語モデルを記述するのか、そのソフトウェアはどの程度説明されているのか?
1つのオペレータを複製するのではなく、ライフサイクル全体を通してモデルを運ぶことができる2番目の実装が必要です。
そのようなライフサイクルを報告します。
サードパーティのランタイム依存を持たないZigで記述された機械学習スタックであるnumbatを使用して、9.91BのWebテキストのトークンのランダム初期化から124.4MパラメータGPT-2を事前トレーニングし、個別の小さなモデルを臨床質問応答に適用する。
参照実装は、両方のステージで同じハードウェア上で実行され、ランを停止する権限を持つサイドカーがそれぞれを監督する。
合意は近い。
ヘルドアウトのクロスエントロピーは3.2588で、公表された3.29で、HellaSwagは0.3053で0.299で終わる。
この参照を別のハードウェアで再実行すると0.0035になる。
生産構成の1セッションで測定されたnumbatは、PyTorchの41,202に対して毎秒43,374トークンに達し、3枚のカードで2.769倍のスケーリングを行う。
臨床適応は2.1899対2.1941で終了する。
どちらのモデルも医療機器ではなく、臨床用途には検証されていない。
関連論文リスト
- ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch [0.0]
ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。
1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
論文 参考訳（メタデータ） (2026-09-18T20:33:02Z) - MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes [0.0]
トランジットキオスクのポリシー層として,言語モデルをテストするための955ケースベンチマークであるMetroLLM-Benchを紹介する。
37駅から414駅までの6つの実際の地下鉄システムと、ルーティング、運賃計算、ディスラプション、アクセシビリティ、敵の入力を含む11のカテゴリをカバーしている。
14の決定論的スコアリングコンポーネントがTier 1を形成し、8つの意味論的品質コンポーネントがTier 2を形成し、そのうち6つは言語モデル判断器を使用している。
論文 参考訳（メタデータ） (2026-09-09T10:46:56Z) - Numbat: Building and Verifying a Self-Contained Machine-Learning Stack [0.0]
numbatは1つの汎用言語(Zig)で書かれた機械学習スタックで、サードパーティの依存関係はない。
我々はナムバットの構築と検証について報告する。
論文 参考訳（メタデータ） (2026-09-09T08:36:12Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention [0.0]
我々は, 事前学習をせずに, 450-700Kパラメータの分類に基づく強いベースラインと, バイトレベルのアテンションフリーアーキテクチャを一致させることができることを示した。
我々は「テキストのように読む」ための非パラメトリックなゲーム抵抗楽器FORM DISTANCEを紹介する。
また,4つのアーキテクチャ追加が役に立たないことを報告し,その5分の1のパラメータで,学習テーブルのトップ1の精度の94%に達する計算辞書を作成した。
論文 参考訳（メタデータ） (2026-08-05T10:44:26Z) - When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs [0.0]
並列プログラムの次のステップを予測するためにモデルをトレーニングするのは、スケジューラが非決定論的であるため、見た目よりも難しい。
我々は、各プログラムを何度も実行し、観測された次の事象を経験的分布に集約し、その分布をKLの目的と一致するように7Bモデルを微調整する。
実際のGoのバグから引き出された798のホールトアウト予測では、1000個未満のトレースの微調整が36.2%の精度に達する。
P(GoUnblock)がスケジューラのセマンティクスによって保持される選択ブロックゴルータのクラスに対する正規なゴルータ-リークシグネチャを学習によって導出する。
論文 参考訳（メタデータ） (2026-06-16T04:40:04Z) - Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。
MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
論文 参考訳（メタデータ） (2026-06-01T21:49:54Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。
人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
論文 参考訳（メタデータ） (2025-05-27T03:47:33Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。