論文の概要: MPX: Mixed Precision Training for JAX

• arxiv url: http://arxiv.org/abs/2507.03312v1
• Date: Fri, 04 Jul 2025 05:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.671773
• Title: MPX: Mixed Precision Training for JAX
• Title（参考訳）: MPX: JAXの混合精度トレーニング
• Authors: Alexander Gräfe, Sebastian Trimpe,
• Abstract要約: 混合精度トレーニングは、ニューラルネットワークトレーニングの効率を高めるために必要なツールとして登場した。 本稿では,大規模ニューラルネットワークのトレーニングを簡略化し,高速化するJAX用混合精度トレーニングツールボックスMPXを提案する。 MPXはEquinoxやFraxといった一般的なツールボックスとシームレスに統合され、完全な精度パイプラインを混合精度バージョンに変換することができる。
• 参考スコア（独自算出の注目度）: 54.62458721568289
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Mixed-precision training has emerged as an indispensable tool for enhancing the efficiency of neural network training in recent years. Concurrently, JAX has grown in popularity as a versatile machine learning toolbox. However, it currently lacks robust support for mixed-precision training. We propose MPX, a mixed-precision training toolbox for JAX that simplifies and accelerates the training of large-scale neural networks while preserving model accuracy. MPX seamlessly integrates with popular toolboxes such as Equinox and Flax, allowing users to convert full-precision pipelines to mixed-precision versions with minimal modifications. By casting both inputs and outputs to half precision, and introducing a dynamic loss-scaling mechanism, MPX alleviates issues like gradient underflow and overflow that commonly arise in half precision computations. Its design inherits critical features from JAX's type-promotion behavior, ensuring that operations take place in the correct precision and allowing for selective enforcement of full precision where needed (e.g., sums, means, or softmax). MPX further provides wrappers for automatic creation and management of mixed-precision gradients and optimizers, enabling straightforward integration into existing JAX training pipelines. MPX's source code, documentation, and usage examples are available at github.com/Data-Science-in-Mechanical-Engineering/mixed_precision_for_JAX.
• Abstract（参考訳）: 近年,ニューラルネットワークトレーニングの効率向上に欠かせないツールとして,混合精度トレーニングが登場している。 同時に、JAXは汎用的な機械学習ツールボックスとして人気を博している。 しかし、現在、混合精度トレーニングの堅牢なサポートは欠如している。 本稿では,モデル精度を維持しつつ,大規模ニューラルネットワークのトレーニングを簡素化し,高速化するJAX用混合精度トレーニングツールボックスMPXを提案する。 MPXはEquinoxやFraxといった一般的なツールボックスとシームレスに統合され、ユーザーは最小限の修正で完全精度パイプラインを混合精度バージョンに変換することができる。 入力と出力の両方を半精度にキャストし、動的損失スケーリング機構を導入することで、MPXは半精度計算で一般的に発生する勾配下フローやオーバーフローのような問題を緩和する。 その設計は、JAXの型プログレッシブ動作から重要な特徴を継承し、操作が正しい精度で実行されることを保証するとともに、必要に応じて完全な精度(例えば、和、手段、ソフトマックス)を選択的に実施できるようにする。 MPXはさらに、混合精度勾配とオプティマイザの自動作成と管理のためのラッパーを提供し、既存のJAXトレーニングパイプラインに簡単に統合できる。 MPXのソースコード、ドキュメント、利用例はgithub.com/Data-Science-in-Mechanical-Engineering/mixed_precision_for_JAXで公開されている。

関連論文リスト

• RefineX: Learning to Refine Pre-training Data at Scale from Expert-Guided Programs [76.3459242819381]
  RefineXは、プログラムによる編集タスクを通じて、トレーニング済みデータの大規模かつ外科的な洗練を行うための新しいフレームワークである。 RefineXのコアとなる強みは、高品質で専門家が指導するエンドツーエンドの精錬結果を最小限の編集ベースの削除プログラムに蒸留することにある。 RefineXを複数のモデルスケールで事前学習し、生データ、フィルタリングデータ、または代替データでトレーニングされたモデルより一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-04T02:19:58Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Quartet: Native FP4 Training Can Be Optimal for Large Language Models [27.800012997794987]
  大規模言語モデル(LLM)モデルを低精度で直接訓練することは、計算コストに対処する方法を提供する。 NVIDIAの最近のBlackwellアーキテクチャは、FP4変種を使用した非常に低精度な操作を容易にする。 提案手法は, 高精度なFP4トレーニングを実現するための新しい手法である。
  論文  参考訳（メタデータ） (2025-05-20T17:55:50Z)
• MPAX: Mathematical Programming in JAX [4.320198313490604]
  MPAXは、線形プログラミングを機械学習に統合するための汎用的で効率的なツールボックスである。 バッチ解決、自動微分、デバイス並列化といった機能とともに、ハードウェアアクセラレーションをネイティブにサポートする。
  論文  参考訳（メタデータ） (2024-12-12T21:52:27Z)
• Scalify: scale propagation for efficient low-precision LLM training [1.4999444543328293]
  float8のような低精度のフォーマットが機械学習アクセラレーションハードウェアに導入され、大規模言語モデルのトレーニングと推論の計算効率が向上した。 本稿では,計算グラフのためのエンドツーエンドのスケール伝搬パラダイムであるScalifyを提案する。
  論文  参考訳（メタデータ） (2024-07-24T15:26:01Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Activation Density based Mixed-Precision Quantization for Energy Efficient Neural Networks [2.666640112616559]
  ニューラルネットワークモデルのイントレーニング量子化手法を提案する。 本手法は,混合精度モデルの学習中に各層に対するビット幅を計算する。 VGG19/ResNet18アーキテクチャ上で、CIFAR-10、CIFAR-100、TinyImagenetなどのベンチマークデータセットの実験を行います。
  論文  参考訳（メタデータ） (2021-01-12T09:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。