論文の概要: TorchAO: PyTorch-Native Training-to-Serving Model Optimization

• arxiv url: http://arxiv.org/abs/2507.16099v1
• Date: Mon, 21 Jul 2025 22:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.905614
• Title: TorchAO: PyTorch-Native Training-to-Serving Model Optimization
• Title（参考訳）: TorchAO: PyTorch-Native Training-to-Serving Model Optimization
• Authors: Andrew Or, Apurva Jain, Daniel Vega-Myhre, Jesse Cai, Charles David Hernandez, Zhenrui Zheng, Driss Guessous, Vasiliy Kuznetsov, Christian Puhrsch, Mark Saroufim, Supriya Rao, Thien Tran, Aleksandar Samardžić,
• Abstract要約: 我々はPyTorchネイティブモデル最適化フレームワークであるTorchAOを紹介した。 TorchAOは、FP8量子化トレーニング、量子化対応トレーニング(QAT)、ポストトレーニング量子化(PTQ)、2:4スペーサリティなど、さまざまな一般的なモデル最適化技術をサポートしている。
• 参考スコア（独自算出の注目度）: 30.06590178825442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present TorchAO, a PyTorch-native model optimization framework leveraging quantization and sparsity to provide an end-to-end, training-to-serving workflow for AI models. TorchAO supports a variety of popular model optimization techniques, including FP8 quantized training, quantization-aware training (QAT), post-training quantization (PTQ), and 2:4 sparsity, and leverages a novel tensor subclass abstraction to represent a variety of widely-used, backend agnostic low precision data types, including INT4, INT8, FP8, MXFP4, MXFP6, and MXFP8. TorchAO integrates closely with the broader ecosystem at each step of the model optimization pipeline, from pre-training (TorchTitan) to fine-tuning (TorchTune, Axolotl) to serving (HuggingFace, vLLM, SGLang, ExecuTorch), connecting an otherwise fragmented space in a single, unified workflow. TorchAO has enabled recent launches of the quantized Llama 3.2 1B/3B and LlamaGuard3-8B models and is open-source at https://github.com/pytorch/ao/.
• Abstract（参考訳）: 我々はPyTorchネイティブモデル最適化フレームワークであるTorchAOを紹介した。 TorchAOは、FP8量子化トレーニング、量子化対応トレーニング(QAT)、後トレーニング量子化(PTQ)、2:4スペーサリティなど、さまざまな一般的なモデル最適化技術をサポートし、新しいテンソルサブクラス抽象化を活用して、INT4、INT8、FP8、MXFP4、MXFP6、MXFP8など、広く使われている、バックエンドに依存しない様々な低精度データ型を表現する。 TorchAOはモデル最適化パイプラインの各ステップにおいて、事前トレーニング(TorchTitan)から微調整(TorchTune、Axolotl)からサービス(HuggingFace、vLLM、SGLang、ExecuTorch)まで、より広範なエコシステムと密接に統合されており、それ以外の断片化されたスペースを単一の統合ワークフローで接続する。 TorchAOは、量子化されたLlama 3.2 1B/3BとLlamaGuard3-8Bモデルの最近のローンチを可能にし、https://github.com/pytorch/ao/でオープンソース化された。

関連論文リスト

• MiniCPM4: Ultra-Efficient LLMs on End Devices [124.73631357883228]
  MiniCPM4は、エンドサイドデバイス向けに明示的に設計された高効率な大規模言語モデル(LLM)である。 この効率性は、モデルアーキテクチャ、トレーニングデータ、トレーニングアルゴリズム、推論システムという4つの重要な側面において、体系的な革新を通じて達成します。 MiniCPM4は、それぞれ0.5Bと8Bのパラメータを持つ2つのバージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-06-09T16:16:50Z)
• Two-stream Beats One-stream: Asymmetric Siamese Network for Efficient Visual Tracking [54.124445709376154]
  効率的な追跡を行うために,textbfAsymTrack という新しい非対称なシームズトラッカーを提案する。 このアーキテクチャに基づいて、検索機能に重要な手がかりを注入する効率的なテンプレート変調機構を考案する。 実験によると、AsymTrackは異なるプラットフォーム間で、より優れたスピード精度のトレードオフを提供する。
  論文  参考訳（メタデータ） (2025-03-01T14:44:54Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• SimpleFSDP: Simpler Fully Sharded Data Parallel with torch.compile [7.544642148576768]
  SimpleFSDPは、PyTorchネイティブコンパイラベースのFully Sharded Data Parallel (FSDP)フレームワークである。 メンテナンスと計算性のためのシンプルな実装を持ち、完全なコンポコミュニケーショングラフトレースを可能にし、コンパイラのバックエンド最適化によるパフォーマンス向上を実現している。 また、効率的な計算通信オーバーラップのために、TorchInductorバックエンドでバケットと並べ替えを行うIRノードも備えている。
  論文  参考訳（メタデータ） (2024-11-01T00:43:54Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• LoQT: Low-Rank Adapters for Quantized Pretraining [5.767156832161818]
  Low-Rank Adapters for Quantized Training (LoQT) は、量子化モデルの効率的なトレーニング方法である。 我々のアプローチは、事前学習モデルと微調整モデルの両方に適しています。 言語モデリングとダウンストリームタスク適応において,LoQTが最大7Bパラメータを24GBのGPU上で効率的にトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2024-05-26T11:29:57Z)
• Trainable Fixed-Point Quantization for Deep Learning Acceleration on FPGAs [30.325651150798915]
  量子化は、組み込みFPGAのようなリソース制約のあるデバイスにディープラーニングモデルをデプロイするための重要な技術である。 モデルトレーニング中の二点位置を自動的に学習する,トレーニング可能な固定点量子化手法であるQFXを提案する。 QFXはPyTorchベースのライブラリとして実装され、FPGA HLSでサポートされている固定点演算を効率的にエミュレートする。
  論文  参考訳（メタデータ） (2024-01-31T02:18:27Z)
• LLM-FP4: 4-Bit Floating-Point Quantized Transformers [38.23587031169402]
  大規模言語モデル(LLM)における重みとアクティベーションを4ビット浮動小数点値まで定量化するLLM-FP4を提案する。 整数量子化と比較すると、浮動小数点(FP)量子化はより柔軟であり、長い尾や鐘のような分布を扱うことができる。 LLaMA-13Bの重みとアクティベーションの両方を4ビットに定量化し,平均スコア63.1を得る。
  論文  参考訳（メタデータ） (2023-10-25T17:59:32Z)
• Accelerating Deep Learning Model Inference on Arm CPUs with Ultra-Low Bit Quantization and Runtime [57.5143536744084]
  ディープラーニングモデルの高性能化は、高い計算、ストレージ、電力要求を犠牲にしている。 我々はDeplite Neutrinoを導入し、DepliteはArmベースのプラットフォームに超低ビット量子化モデルを展開する。
  論文  参考訳（メタデータ） (2022-07-18T15:05:17Z)
• ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers [29.566132632781848]
  我々は、ZeroQuantと呼ばれる大きなTransformerベースのモデルを圧縮するための、効率的で安価なポストトレーニング量子化手法を提案する。 ZeroQuantは3つの主要コンポーネントを備えたエンドツーエンドの量子化と推論パイプラインである。
  論文  参考訳（メタデータ） (2022-06-04T00:28:21Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。