論文の概要: HobbyLM: A Sparse Mixture-of-Experts Model Family on a Hobby Budget

• arxiv url: http://arxiv.org/abs/2610.34582v1
• Date: Sun, 25 Oct 2026 21:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.640044
• Title: HobbyLM: A Sparse Mixture-of-Experts Model Family on a Hobby Budget
• Title（参考訳）: HobbyLM:Hobby Budget上のSparse Mixture-of-Expertsモデルファミリー
• Abstract要約: 我々は、スクラッチからトレーニングされた小さなSparse Mixture-of-Experts(MoE)モデルのファミリーを、数百～数千ドルのレンタルGPU時間で記述する。 コアはデコーダのみのトランスフォーマーで、きめ細かい専門家がいる。 これらのモデルを、Rust推論エンジンをオンスクラッチしたラップトップCPU上で実行します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe HobbyLM, a family of small sparse Mixture-of-Experts (MoE) models trained from scratch with a few hundred to a few thousand dollars of rented GPU time. The core is a decoder-only transformer with fine-grained experts, sigmoid routing with auxiliary-loss-free load balancing, grouped-query attention with per-head QK-normalization, and aMuon/AdamW optimizer split. Each of these choices was selected with a single-variable ablation suite at 130M parameters. On this architecture we train a 500M-parameter model (169M active) on 40B FineWeb tokens and post-train it into a chat model, a masked-diffusion language model, a function-calling and computer-use agent, and a single "omni" checkpoint that reads text, images, video, sound and speech through frozen encoders and small projectors. We run these models on a laptop CPU with a from-scratch Rust inference engine. Two of the authors then adopted the architecture without architectural changes to build HobbyLM-1B (1.04B total, 305M active parameters), trained on a 100B-token curated mixture with a high-quality anneal. HobbyLM-1B reaches a 47.5 average on seven zero-shot benchmarks, and its builders also release an instruction-tuned model and an on-device macOS computer-use adapter. Finally, we describe HobbyLM-Image, a 333M-parameter flow-matching diffusion transformer that generates 1024x1024 images in a 32x-compressed latent space, together with a dependency-light CPU implementation of the full text-to-image pipeline. We report what worked, what did not, and where the small-scale ceilings lie. We also state for each component which author designed or built it.
• Abstract（参考訳）: HobbyLMは、スクラッチからトレーニングされた小さなSparse Mixture-of-Experts(MoE)モデルのファミリーで、数百～数千ドルをレンタルしたGPU時間である。 コアはデコーダのみのトランスフォーマーで、詳細な専門家、補助損失のないロードバランシングを備えたシグマノイドルーティング、グループ化されたクエリアテンションと頭ごとのQK正規化、そしてaMuon/AdamWオプティマイザが分割されている。 これらの選択は、それぞれ1,130Mパラメータの単変量アブレーションスイートで選択された。 このアーキテクチャでは、40B FineWebトークン上で500Mパラメータモデル(169Mアクティブ)をトレーニングし、チャットモデル、マスク付き拡散言語モデル、関数呼び出しおよびコンピュータ使用エージェント、凍結エンコーダおよび小型プロジェクタを介してテキスト、画像、ビデオ、音声、音声を読み取る単一の"omni"チェックポイントに後からトレーニングする。 これらのモデルを、Rust推論エンジンをオンスクラッチしたラップトップCPU上で実行します。 2人の著者はアーキテクチャの変更なしにHobbyLM-1B (1.04Bトータル305Mアクティブパラメータ)を構築し、高品質のアニールと100Bトーケン硬化した混合物で訓練した。 HobbyLM-1Bは7つのゼロショットベンチマークで平均47.5に達する。 最後に,32x圧縮潜在空間で1024x1024画像を生成する333Mフローマッチング拡散変換器HobbyLM-Imageと,フルテキスト・ツー・イメージパイプラインのCPU実装について述べる。 私たちは何がうまくいったのか、何がうまくいかなかったのか、そして小さな天井がどこにあるのかを報告します。 また、著者が設計または構築した各コンポーネントについても述べます。

関連論文リスト

• Muse Glimmer 30B: An On-Device Agentic Model [292.4638603457676]
  Muse Glimmerは、知覚エンコーダを備えたオープンソースの30Bパラメータ因果言語モデルである。 Muse Glimmerは、マルチステップ推論、信頼性の高いツール使用、障害復旧を、クラウドインフラストラクチャを必要とせずに、コンシューマデバイス上でローカルに実行される単一のモデルに統合する。
  論文  参考訳（メタデータ） (2026-10-17T11:05:21Z)
• NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference [1.3961509337714324]
  260Mと800Mのマルチモーダルおよび双方向の多言語文書エンコーダであるNeoMMEを紹介する。 どちらのモデルも、マスク付き離散拡散テキストの目的によって、ゼロから事前訓練されている。 ViDoRe v3ベンチマークでは、結果のNeoMME-Retriever 260Mが0.523 nDCG@10で評価されたモデルを上回っている。 NVIDIA L40Sの2048x2048画像入力サイズで、NeoMME-260MはColModernVBERTの2倍のスループットでページをエンコードする。
  論文  参考訳（メタデータ） (2026-08-31T13:08:15Z)
• Playing DOOM with 1.3M Parameters: Specialized Small Models vs Large Language Models for Real-Time Game Control [42.18443783365649]
  SauerkrautLM-MultiVecは13万のパラメータモデルで、古典的なファーストパーソンシューターをリアルタイムで演奏する。 わずか31,000人の人間のゲームプレイのデモでトレーニングされ、dedef_the_centerシナリオで10エピソードで178のフラグを達成している。 この結果から,ドメイン固有データに対する小さなタスク特化モデルは,リアルタイム制御タスクにおいて汎用LLMよりも格段に優れていることが示された。
  論文  参考訳（メタデータ） (2026-04-08T03:33:12Z)
• GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting [49.32327147931905]
  単一A100 GPU上で2-4のスパース画像から高品質な3Dガウス像を0.23秒で予測できるスケーラブルな大規模再構成モデルGS-LRMを提案する。 このモデルは非常に単純なトランスフォーマーベースアーキテクチャを特徴とし、入力されたイメージをパッチ化し、プリミティブなマルチビュー画像トークンをトランスフォーマーブロックのシーケンスに渡す。
  論文  参考訳（メタデータ） (2024-04-30T16:47:46Z)
• LRM: Large Reconstruction Model for Single Image to 3D [61.47357798633123]
  本稿では,1つの入力画像からオブジェクトの3次元モデルを5秒以内で予測する最初のLarge Restruction Model (LRM)を提案する。 LRMは5億の学習可能なパラメータを持つ高度にスケーラブルなトランスフォーマーベースのアーキテクチャを採用し、入力画像からニューラル放射場(NeRF)を直接予測する。 約100万のオブジェクトを含む巨大なマルチビューデータに基づいて、エンド・ツー・エンドでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-08T00:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。