論文の概要: TinyTorch: Building Machine Learning Systems from First Principles

• arxiv url: http://arxiv.org/abs/2601.19107v1
• Date: Tue, 27 Jan 2026 02:18:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.131654
• Title: TinyTorch: Building Machine Learning Systems from First Principles
• Title（参考訳）: TinyTorch: 第一原理から機械学習システムを構築する
• Authors: Vijay Janapa Reddi,
• Abstract要約: 学生がPyTorchのコアコンポーネントを実装するための20のモジュールカリキュラムであるTinyTorchを紹介します。 カリキュラムは3つの教育原理に基づいて構築され、学生が自信を築くにつれて、進歩的開示は徐々に複雑化していく。 TinyTorchは4GBのRAMとGPUのないラップトップしか必要としない。
• 参考スコア（独自算出の注目度）: 7.557409593010283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning systems engineering requires a deep understanding of framework internals. Yet most current education separates algorithms from systems. Students learn gradient descent without measuring memory usage, and attention mechanisms without profiling computational cost. This split leaves graduates unprepared to debug real production failures and widens the gap between machine learning research and reliable deployment. We present TinyTorch, a 20 module curriculum in which students implement the core components of PyTorch, including tensors, autograd, optimizers, and neural networks, entirely in pure Python. The curriculum is built around three pedagogical principles. Progressive disclosure gradually introduces complexity as students build confidence. Systems first integration embeds memory and performance awareness from the very beginning. Historical milestone validation guides students to recreate key breakthroughs, from the Perceptron in 1958 to modern Transformers, using only code they have written themselves. TinyTorch requires only a laptop with 4GB of RAM and no GPU, making machine learning systems education accessible worldwide. Its goal is to prepare the next generation of AI engineers, practitioners who understand not only what machine learning systems do, but why they work and how to make them scale. The curriculum is available as open source at mlsysbook.ai slash tinytorch.
• Abstract（参考訳）: 機械学習システムエンジニアリングは、フレームワークの内部を深く理解する必要がある。 しかし、現在の教育はアルゴリズムをシステムから切り離している。 学生は、メモリ使用量を測定することなく勾配降下を学習し、計算コストをプロファイリングせずに注意機構を学習する。 この分割は、卒業生が実際の運用失敗をデバッグし、マシンラーニングの研究と信頼性の高いデプロイメントの間のギャップを広げる準備が整っていないことを残します。 TinyTorchは、学生がテンソル、オートグレード、オプティマイザ、ニューラルネットワークを含むPyTorchのコアコンポーネントを純粋にPythonで実装する20のモジュールカリキュラムである。 カリキュラムは3つの教育原則に基づいて構築されている。 プログレッシブ開示は、学生が自信を築くにつれて、徐々に複雑化する。 システムファーストインテグレーションは、最初からメモリとパフォーマンスの意識を埋め込んだものです。 歴史的マイルストーンの検証は、1958年のパーセプトロンから現代のトランスフォーマーまで、自分たちで書いたコードのみを使って、重要なブレークスルーを再現するよう学生に促している。 TinyTorchは4GBのRAMとGPUのないラップトップしか必要としない。 その目標は、次世代のAIエンジニアや実践者が、機械学習システムが何をしているかだけでなく、なぜ機能するのか、どのようにスケールさせるのかを理解できるようにすることだ。 カリキュラムはmlsysbook.ai slash littletorchでオープンソースとして公開されている。

関連論文リスト

• Teaching Machine Learning Fundamentals with LEGO Robotics [6.474217812459663]
  本稿では,Bricksを用いたWebベースの機械学習プラットフォームと,12～17歳の生徒に機械学習の概念を教えるための2日間のコースについて述べる。 Machine Learning with Bricksはオープンソースのプラットフォームで、インタラクティブな視覚化とLEGOロボティクスを組み合わせて、KNN、線形回帰、Qラーニングという3つのコアアルゴリズムを教える。 学生は、データを収集し、モデルを訓練し、Webベースのインターフェイスを介してロボットと対話することによって学ぶ。
  論文  参考訳（メタデータ） (2026-01-27T08:59:57Z)
• AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM [60.583864162256525]
  数十億の知識グラフを持つ大規模言語モデルを拡張するための,スケーラブルで効果的で汎用的な方法を提案する。 KG2KVとHiKVPはKGトリプルをLLMに統合し、サブ線形時間とメモリの複雑さを持つ。 LLM固有の注意機構を用いて、強力な知識基盤と一般化性能を維持している。
  論文  参考訳（メタデータ） (2025-10-20T15:40:14Z)
• Quantum Machine Learning: A Hands-on Tutorial for Machine Learning Practitioners and Researchers [51.03113410951073]
  このチュートリアルでは、AIのバックグラウンドを持つ読者を量子機械学習(QML)に紹介する。 自己整合性については、基本原理、代表的QMLアルゴリズム、潜在的な応用、トレーニング容易性、一般化、計算複雑性といった重要な側面を取り上げる。
  論文  参考訳（メタデータ） (2025-02-03T08:33:44Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• On-device Self-supervised Learning of Visual Perception Tasks aboard Hardware-limited Nano-quadrotors [53.59319391812798]
  SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。 彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。 未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。 本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
  論文  参考訳（メタデータ） (2024-03-06T22:04:14Z)
• RedCoast: A Lightweight Tool to Automate Distributed Training of LLMs on Any GPU/TPUs [32.01139974519813]
  大規模言語モデル(LLM)の分散トレーニングと推論を自動化するツールであるRedCoastを紹介する。 また,3つの関数の定義により,多様なMLパイプラインをカスタマイズする機構を提案する。 その結果、Redcoの実装は公式実装に比べてコード行数が大幅に減った。
  論文  参考訳（メタデータ） (2023-10-25T04:32:35Z)
• WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct [130.37945867605302]
  本稿では,大規模言語モデル(LLM)の数学的CoT推論能力を向上させるWizardMathを提案する。 注目すべきは、WizardMath-Mistral 7BがトップクラスのオープンソースLLMをはるかに上回り、データ効率が向上したことだ。 予備的な調査では、卓越した数学性能を達成する上で、命令の進化とプロセスの監督が重要な役割を担っていることを強調した。
  論文  参考訳（メタデータ） (2023-08-18T14:23:21Z)
• TensorKrowch: Smooth integration of tensor networks in machine learning [46.0920431279359]
  PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。 ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
  論文  参考訳（メタデータ） (2023-06-14T15:55:19Z)
• Classification of integers based on residue classes via modern deep learning algorithms [3.6396223542930772]
  素数で分割した場合の残差に基づいて、複数のディープラーニングアーキテクチャと特徴工学的手法を検証した。 また、Amazon、Google、MicrosoftのAutomated Machine Learningプラットフォームを評価しました。 結論として、機能エンジニアリングは、パフォーマンスを改善し、機械学習モデルの解釈可能性を高めるための重要なタスクである。
  論文  参考訳（メタデータ） (2023-04-03T19:53:31Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Preprocessors Matter! Realistic Decision-Based Attacks on Machine Learning Systems [56.64374584117259]
  決定に基づく攻撃は、ハードラベルクエリのみを作成することによって、機械学習(ML)モデルに対する逆例を構築する。 我々は,(i)プリプロセッサをリバースエンジニアリングし,(ii)この抽出した情報を用いてエンド・ツー・エンド・システムを攻撃する手法を開発した。 我々のプリプロセッサ抽出法は数百のクエリしか必要とせず、我々のプリプロセッサ・アウェア・アタックはモデルのみを攻撃する場合と同じ効果を回復する。
  論文  参考訳（メタデータ） (2022-10-07T03:10:34Z)
• An Experimental Evaluation of Machine Learning Training on a Real Processing-in-Memory System [9.429605859159023]
  機械学習(ML)アルゴリズムのトレーニングは、計算集約的なプロセスであり、しばしばメモリバウンドである。 メモリ内の処理能力を備えたメモリ中心のコンピューティングシステムは、このデータ移動ボトルネックを軽減することができる。 実世界の汎用PIMアーキテクチャ上で,いくつかの代表的古典的MLアルゴリズムを実装した。
  論文  参考訳（メタデータ） (2022-07-16T09:39:53Z)
• Flashlight: Enabling Innovation in Tools for Machine Learning [50.63188263773778]
  私たちは、機械学習ツールやシステムの革新を促進するために構築されたオープンソースのライブラリであるFlashlightを紹介します。 Flashlightは、広く使われているライブラリを下流で活用し、機械学習とシステム研究者をより緊密に連携させる研究を可能にするツールだと考えています。
  論文  参考訳（メタデータ） (2022-01-29T01:03:29Z)
• PyCIL: A Python Toolbox for Class-Incremental Learning [34.32500654158169]
  クラス増分学習のためのいくつかの重要なアルゴリズムを実装したPythonツールボックスを提案する。 このツールボックスには、EWCやiCaRLといったCILの創設作業の実装が含まれている。 また、新しい基礎研究を行うために使用できる最先端のアルゴリズムも提供する。
  論文  参考訳（メタデータ） (2021-12-23T13:41:24Z)
• PyKale: Knowledge-Aware Machine Learning from Multiple Sources in Python [6.276936701568444]
  Pykaleは、グラフ、画像、テキスト、ビデオに関する知識を意識した機械学習のためのPythonライブラリである。 我々は、標準的なソフトウェアエンジニアリングプラクティスに基づいて、新しいグリーン機械学習ガイドラインを定式化する。 私たちはPyTorch上にPyKaleを構築し、リッチなPyTorchエコシステムを活用しています。
  論文  参考訳（メタデータ） (2021-06-17T18:35:37Z)
• MLPerf Tiny Benchmark [1.1178096184080788]
  我々は、超低消費電力の小さな機械学習システムのための業界標準ベンチマークスイートであるTinyerf Tinyを紹介する。 Tinyerf Tinyは、機械学習推論の正確性、レイテンシ、エネルギーを測定し、システム間のトレードオフを適切に評価する。
  論文  参考訳（メタデータ） (2021-06-14T17:05:17Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
  この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。 インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。 同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
  論文  参考訳（メタデータ） (2021-01-13T00:02:49Z)
• PeleNet: A Reservoir Computing Framework for Loihi [0.0]
  PeleNetは、ニューロモルフィックハードウェアLoihiの貯水池コンピューティングを単純化することを目指している。 複数のコアやチップ上でのネットワークの自動的かつ効率的な分散を提供する。
  論文  参考訳（メタデータ） (2020-11-24T19:33:08Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence [3.1314898234563295]
  Pythonは科学計算、データサイエンス、機械学習において最も好まれる言語である。 この調査は、Pythonによる機械学習の分野に関する洞察を提供し、重要なトピックをツアーして、それを可能にしたコアハードウェアとソフトウェアパラダイムのいくつかを特定します。
  論文  参考訳（メタデータ） (2020-02-12T05:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。