論文の概要: TinyTorch: Building Machine Learning Systems from First Principles

• arxiv url: http://arxiv.org/abs/2601.19107v2
• Date: Wed, 28 Jan 2026 19:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 14:13:19.936103
• Title: TinyTorch: Building Machine Learning Systems from First Principles
• Title（参考訳）: TinyTorch: 第一原理から機械学習システムを構築する
• Authors: Vijay Janapa Reddi,
• Abstract要約: 生徒は、それらを実行するシステムを理解することなく、アルゴリズムを学ぶ。 この"algorithmsystems split"は、モデルをトレーニングできるが、メモリ障害をデバッグできない実践者を生成する。 このギャップを埋めるカリキュラム「TinyTorch」について紹介する。 カリキュラムはmlsysbook.ai/tinytorchでオープンソースで公開されている。
• 参考スコア（独自算出の注目度）: 7.557409593010283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning education faces a fundamental gap: students learn algorithms without understanding the systems that execute them. They study gradient descent without measuring memory, attention mechanisms without analyzing O(N^2) scaling, optimizer theory without knowing why Adam requires 3x the memory of SGD. This "algorithm-systems divide" produces practitioners who can train models but cannot debug memory failures, optimize inference latency, or reason about deployment trade-offs--the very skills industry demands as "ML systems engineering." We present TinyTorch, a 20-module curriculum that closes this gap through "implementation-based systems pedagogy": students construct PyTorch's core components (tensors, autograd, optimizers, CNNs, transformers) in pure Python, building a complete framework where every operation they invoke is code they wrote. The design employs three patterns: "progressive disclosure" of complexity, "systems-first integration" of profiling from the first module, and "build-to-validate milestones" recreating 67 years of ML breakthroughs--from Perceptron (1958) through Transformers (2017) to MLPerf-style benchmarking. Requiring only 4GB RAM and no GPU, TinyTorch demonstrates that deep ML systems understanding is achievable without specialized hardware. The curriculum is available open-source at mlsysbook.ai/tinytorch.
• Abstract（参考訳）: 機械学習教育は基本的なギャップに直面している。学生はそれらを実行するシステムを理解しずにアルゴリズムを学習する。 彼らは、メモリを計測せずに勾配降下、O(N^2)スケーリングを解析せずに注意機構、最適化理論、なぜAdamがSGDのメモリを3倍必要かを知ることなく研究した。 この"algorithm-systems divide"は、モデルをトレーニングできるが、メモリ障害のデバッグ、推論レイテンシの最適化、デプロイメントのトレードオフの理由付けができない実践者を生み出します。 学生はピュアPythonでPyTorchのコアコンポーネント(テンソル、オートグレード、オプティマイザ、CNN、トランスフォーマー)を構築し、それらが呼び出すすべての操作がコードである完全なフレームワークを構築します。 この設計では、複雑性の「プログレッシブな開示」、最初のモジュールからのプロファイリングの「システムファースト統合」、67年間のMLブレークスルーを再現する「ビルドからバリデートへのマイルストーン」の3つのパターンが採用されている。 4GBのRAMとGPUを必要としないTinyTorchは、高度なMLシステムの理解が特別なハードウェアなしで達成可能であることを実証している。 カリキュラムはmlsysbook.ai/tinytorchでオープンソースで公開されている。

関連論文リスト

• Teaching Machine Learning Fundamentals with LEGO Robotics [6.474217812459663]
  本稿では,Bricksを用いたWebベースの機械学習プラットフォームと,12～17歳の生徒に機械学習の概念を教えるための2日間のコースについて述べる。 Machine Learning with Bricksはオープンソースのプラットフォームで、インタラクティブな視覚化とLEGOロボティクスを組み合わせて、KNN、線形回帰、Qラーニングという3つのコアアルゴリズムを教える。 学生は、データを収集し、モデルを訓練し、Webベースのインターフェイスを介してロボットと対話することによって学ぶ。
  論文  参考訳（メタデータ） (2026-01-27T08:59:57Z)
• AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM [60.583864162256525]
  数十億の知識グラフを持つ大規模言語モデルを拡張するための,スケーラブルで効果的で汎用的な方法を提案する。 KG2KVとHiKVPはKGトリプルをLLMに統合し、サブ線形時間とメモリの複雑さを持つ。 LLM固有の注意機構を用いて、強力な知識基盤と一般化性能を維持している。
  論文  参考訳（メタデータ） (2025-10-20T15:40:14Z)
• Quantum Machine Learning: A Hands-on Tutorial for Machine Learning Practitioners and Researchers [51.03113410951073]
  このチュートリアルでは、AIのバックグラウンドを持つ読者を量子機械学習(QML)に紹介する。 自己整合性については、基本原理、代表的QMLアルゴリズム、潜在的な応用、トレーニング容易性、一般化、計算複雑性といった重要な側面を取り上げる。
  論文  参考訳（メタデータ） (2025-02-03T08:33:44Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• On-device Self-supervised Learning of Visual Perception Tasks aboard Hardware-limited Nano-quadrotors [53.59319391812798]
  SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。 彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。 未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。 本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
  論文  参考訳（メタデータ） (2024-03-06T22:04:14Z)
• RedCoast: A Lightweight Tool to Automate Distributed Training of LLMs on Any GPU/TPUs [32.01139974519813]
  大規模言語モデル(LLM)の分散トレーニングと推論を自動化するツールであるRedCoastを紹介する。 また,3つの関数の定義により,多様なMLパイプラインをカスタマイズする機構を提案する。 その結果、Redcoの実装は公式実装に比べてコード行数が大幅に減った。
  論文  参考訳（メタデータ） (2023-10-25T04:32:35Z)
• WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct [130.37945867605302]
  本稿では,大規模言語モデル(LLM)の数学的CoT推論能力を向上させるWizardMathを提案する。 注目すべきは、WizardMath-Mistral 7BがトップクラスのオープンソースLLMをはるかに上回り、データ効率が向上したことだ。 予備的な調査では、卓越した数学性能を達成する上で、命令の進化とプロセスの監督が重要な役割を担っていることを強調した。
  論文  参考訳（メタデータ） (2023-08-18T14:23:21Z)
• TensorKrowch: Smooth integration of tensor networks in machine learning [46.0920431279359]
  PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。 ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
  論文  参考訳（メタデータ） (2023-06-14T15:55:19Z)
• Classification of integers based on residue classes via modern deep learning algorithms [3.6396223542930772]
  素数で分割した場合の残差に基づいて、複数のディープラーニングアーキテクチャと特徴工学的手法を検証した。 また、Amazon、Google、MicrosoftのAutomated Machine Learningプラットフォームを評価しました。 結論として、機能エンジニアリングは、パフォーマンスを改善し、機械学習モデルの解釈可能性を高めるための重要なタスクである。
  論文  参考訳（メタデータ） (2023-04-03T19:53:31Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Preprocessors Matter! Realistic Decision-Based Attacks on Machine Learning Systems [56.64374584117259]
  決定に基づく攻撃は、ハードラベルクエリのみを作成することによって、機械学習(ML)モデルに対する逆例を構築する。 我々は,(i)プリプロセッサをリバースエンジニアリングし,(ii)この抽出した情報を用いてエンド・ツー・エンド・システムを攻撃する手法を開発した。 我々のプリプロセッサ抽出法は数百のクエリしか必要とせず、我々のプリプロセッサ・アウェア・アタックはモデルのみを攻撃する場合と同じ効果を回復する。
  論文  参考訳（メタデータ） (2022-10-07T03:10:34Z)
• An Experimental Evaluation of Machine Learning Training on a Real Processing-in-Memory System [9.429605859159023]
  機械学習(ML)アルゴリズムのトレーニングは、計算集約的なプロセスであり、しばしばメモリバウンドである。 メモリ内の処理能力を備えたメモリ中心のコンピューティングシステムは、このデータ移動ボトルネックを軽減することができる。 実世界の汎用PIMアーキテクチャ上で,いくつかの代表的古典的MLアルゴリズムを実装した。
  論文  参考訳（メタデータ） (2022-07-16T09:39:53Z)
• Flashlight: Enabling Innovation in Tools for Machine Learning [50.63188263773778]
  私たちは、機械学習ツールやシステムの革新を促進するために構築されたオープンソースのライブラリであるFlashlightを紹介します。 Flashlightは、広く使われているライブラリを下流で活用し、機械学習とシステム研究者をより緊密に連携させる研究を可能にするツールだと考えています。
  論文  参考訳（メタデータ） (2022-01-29T01:03:29Z)
• PyCIL: A Python Toolbox for Class-Incremental Learning [34.32500654158169]
  クラス増分学習のためのいくつかの重要なアルゴリズムを実装したPythonツールボックスを提案する。 このツールボックスには、EWCやiCaRLといったCILの創設作業の実装が含まれている。 また、新しい基礎研究を行うために使用できる最先端のアルゴリズムも提供する。
  論文  参考訳（メタデータ） (2021-12-23T13:41:24Z)
• PyKale: Knowledge-Aware Machine Learning from Multiple Sources in Python [6.276936701568444]
  Pykaleは、グラフ、画像、テキスト、ビデオに関する知識を意識した機械学習のためのPythonライブラリである。 我々は、標準的なソフトウェアエンジニアリングプラクティスに基づいて、新しいグリーン機械学習ガイドラインを定式化する。 私たちはPyTorch上にPyKaleを構築し、リッチなPyTorchエコシステムを活用しています。
  論文  参考訳（メタデータ） (2021-06-17T18:35:37Z)
• MLPerf Tiny Benchmark [1.1178096184080788]
  我々は、超低消費電力の小さな機械学習システムのための業界標準ベンチマークスイートであるTinyerf Tinyを紹介する。 Tinyerf Tinyは、機械学習推論の正確性、レイテンシ、エネルギーを測定し、システム間のトレードオフを適切に評価する。
  論文  参考訳（メタデータ） (2021-06-14T17:05:17Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
  この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。 インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。 同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
  論文  参考訳（メタデータ） (2021-01-13T00:02:49Z)
• PeleNet: A Reservoir Computing Framework for Loihi [0.0]
  PeleNetは、ニューロモルフィックハードウェアLoihiの貯水池コンピューティングを単純化することを目指している。 複数のコアやチップ上でのネットワークの自動的かつ効率的な分散を提供する。
  論文  参考訳（メタデータ） (2020-11-24T19:33:08Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence [3.1314898234563295]
  Pythonは科学計算、データサイエンス、機械学習において最も好まれる言語である。 この調査は、Pythonによる機械学習の分野に関する洞察を提供し、重要なトピックをツアーして、それを可能にしたコアハードウェアとソフトウェアパラダイムのいくつかを特定します。
  論文  参考訳（メタデータ） (2020-02-12T05:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。