論文の概要: TinyTorch: Building Machine Learning Systems from First Principles
- arxiv url: http://arxiv.org/abs/2601.19107v2
- Date: Wed, 28 Jan 2026 19:22:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 14:13:19.936103
- Title: TinyTorch: Building Machine Learning Systems from First Principles
- Title（参考訳）: TinyTorch: 第一原理から機械学習システムを構築する
- Authors: Vijay Janapa Reddi,
- Abstract要約: 生徒は、それらを実行するシステムを理解することなく、アルゴリズムを学ぶ。
この"algorithmsystems split"は、モデルをトレーニングできるが、メモリ障害をデバッグできない実践者を生成する。
このギャップを埋めるカリキュラム「TinyTorch」について紹介する。
カリキュラムはmlsysbook.ai/tinytorchでオープンソースで公開されている。
- 参考スコア（独自算出の注目度）: 7.557409593010283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning education faces a fundamental gap: students learn algorithms without understanding the systems that execute them. They study gradient descent without measuring memory, attention mechanisms without analyzing O(N^2) scaling, optimizer theory without knowing why Adam requires 3x the memory of SGD. This "algorithm-systems divide" produces practitioners who can train models but cannot debug memory failures, optimize inference latency, or reason about deployment trade-offs--the very skills industry demands as "ML systems engineering." We present TinyTorch, a 20-module curriculum that closes this gap through "implementation-based systems pedagogy": students construct PyTorch's core components (tensors, autograd, optimizers, CNNs, transformers) in pure Python, building a complete framework where every operation they invoke is code they wrote. The design employs three patterns: "progressive disclosure" of complexity, "systems-first integration" of profiling from the first module, and "build-to-validate milestones" recreating 67 years of ML breakthroughs--from Perceptron (1958) through Transformers (2017) to MLPerf-style benchmarking. Requiring only 4GB RAM and no GPU, TinyTorch demonstrates that deep ML systems understanding is achievable without specialized hardware. The curriculum is available open-source at mlsysbook.ai/tinytorch.
- Abstract（参考訳）: 機械学習教育は基本的なギャップに直面している。学生はそれらを実行するシステムを理解しずにアルゴリズムを学習する。
彼らは、メモリを計測せずに勾配降下、O(N^2)スケーリングを解析せずに注意機構、最適化理論、なぜAdamがSGDのメモリを3倍必要かを知ることなく研究した。
この"algorithm-systems divide"は、モデルをトレーニングできるが、メモリ障害のデバッグ、推論レイテンシの最適化、デプロイメントのトレードオフの理由付けができない実践者を生み出します。
学生はピュアPythonでPyTorchのコアコンポーネント(テンソル、オートグレード、オプティマイザ、CNN、トランスフォーマー)を構築し、それらが呼び出すすべての操作がコードである完全なフレームワークを構築します。
この設計では、複雑性の「プログレッシブな開示」、最初のモジュールからのプロファイリングの「システムファースト統合」、67年間のMLブレークスルーを再現する「ビルドからバリデートへのマイルストーン」の3つのパターンが採用されている。
4GBのRAMとGPUを必要としないTinyTorchは、高度なMLシステムの理解が特別なハードウェアなしで達成可能であることを実証している。
カリキュラムはmlsysbook.ai/tinytorchでオープンソースで公開されている。
関連論文リスト
- Teaching Machine Learning Fundamentals with LEGO Robotics [6.474217812459663]
本稿では,Bricksを用いたWebベースの機械学習プラットフォームと,12～17歳の生徒に機械学習の概念を教えるための2日間のコースについて述べる。
Machine Learning with Bricksはオープンソースのプラットフォームで、インタラクティブな視覚化とLEGOロボティクスを組み合わせて、KNN、線形回帰、Qラーニングという3つのコアアルゴリズムを教える。
学生は、データを収集し、モデルを訓練し、Webベースのインターフェイスを介してロボットと対話することによって学ぶ。
論文 参考訳（メタデータ） (2026-01-27T08:59:57Z) - Quantum Machine Learning: A Hands-on Tutorial for Machine Learning Practitioners and Researchers [51.03113410951073]
このチュートリアルでは、AIのバックグラウンドを持つ読者を量子機械学習(QML)に紹介する。
自己整合性については、基本原理、代表的QMLアルゴリズム、潜在的な応用、トレーニング容易性、一般化、計算複雑性といった重要な側面を取り上げる。
論文 参考訳（メタデータ） (2025-02-03T08:33:44Z) - On-device Self-supervised Learning of Visual Perception Tasks aboard
Hardware-limited Nano-quadrotors [53.59319391812798]
SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。
彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。
未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。
本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
論文 参考訳（メタデータ） (2024-03-06T22:04:14Z) - TensorKrowch: Smooth integration of tensor networks in machine learning [46.0920431279359]
PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。
ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
論文 参考訳（メタデータ） (2023-06-14T15:55:19Z) - Preprocessors Matter! Realistic Decision-Based Attacks on Machine
Learning Systems [56.64374584117259]
決定に基づく攻撃は、ハードラベルクエリのみを作成することによって、機械学習(ML)モデルに対する逆例を構築する。
我々は,(i)プリプロセッサをリバースエンジニアリングし,(ii)この抽出した情報を用いてエンド・ツー・エンド・システムを攻撃する手法を開発した。
我々のプリプロセッサ抽出法は数百のクエリしか必要とせず、我々のプリプロセッサ・アウェア・アタックはモデルのみを攻撃する場合と同じ効果を回復する。
論文 参考訳（メタデータ） (2022-10-07T03:10:34Z) - Flashlight: Enabling Innovation in Tools for Machine Learning [50.63188263773778]
私たちは、機械学習ツールやシステムの革新を促進するために構築されたオープンソースのライブラリであるFlashlightを紹介します。
Flashlightは、広く使われているライブラリを下流で活用し、機械学習とシステム研究者をより緊密に連携させる研究を可能にするツールだと考えています。
論文 参考訳（メタデータ） (2022-01-29T01:03:29Z) - PyCIL: A Python Toolbox for Class-Incremental Learning [34.32500654158169]
クラス増分学習のためのいくつかの重要なアルゴリズムを実装したPythonツールボックスを提案する。
このツールボックスには、EWCやiCaRLといったCILの創設作業の実装が含まれている。
また、新しい基礎研究を行うために使用できる最先端のアルゴリズムも提供する。
論文 参考訳（メタデータ） (2021-12-23T13:41:24Z) - PyKale: Knowledge-Aware Machine Learning from Multiple Sources in Python [6.276936701568444]
Pykaleは、グラフ、画像、テキスト、ビデオに関する知識を意識した機械学習のためのPythonライブラリである。
我々は、標準的なソフトウェアエンジニアリングプラクティスに基づいて、新しいグリーン機械学習ガイドラインを定式化する。
私たちはPyTorch上にPyKaleを構築し、リッチなPyTorchエコシステムを活用しています。
論文 参考訳（メタデータ） (2021-06-17T18:35:37Z) - Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。
ディープラーニングは、独自の機械学習のサブフィールドになっている。
生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
論文 参考訳（メタデータ） (2021-05-29T21:02:44Z) - PeleNet: A Reservoir Computing Framework for Loihi [0.0]
PeleNetは、ニューロモルフィックハードウェアLoihiの貯水池コンピューティングを単純化することを目指している。
複数のコアやチップ上でのネットワークの自動的かつ効率的な分散を提供する。
論文 参考訳（メタデータ） (2020-11-24T19:33:08Z) - Machine Learning in Python: Main developments and technology trends in
data science, machine learning, and artificial intelligence [3.1314898234563295]
Pythonは科学計算、データサイエンス、機械学習において最も好まれる言語である。
この調査は、Pythonによる機械学習の分野に関する洞察を提供し、重要なトピックをツアーして、それを可能にしたコアハードウェアとソフトウェアパラダイムのいくつかを特定します。
論文 参考訳（メタデータ） (2020-02-12T05:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。