Fugu-MT 論文翻訳(概要): Architecture-Aware Mixed Precision for Replica-Exchange Training of Geometry-Aware Neural Operators with Uncertainty Quantification

論文の概要: Architecture-Aware Mixed Precision for Replica-Exchange Training of Geometry-Aware Neural Operators with Uncertainty Quantification

arxiv url: http://arxiv.org/abs/2611.02427v1
Date: Mon, 02 Nov 2026 02:51:54 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 19:57:55.788558
Title: Architecture-Aware Mixed Precision for Replica-Exchange Training of Geometry-Aware Neural Operators with Uncertainty Quantification
Title（参考訳）: 不確かさを定量化した幾何対応ニューラル演算子のレプリカ交換訓練のためのアーキテクチャ・アウェア混合精度
Abstract要約: 幾何学を意識したニューラル演算子は、複雑な物理領域をまたいだ学習において、相当な計算とメモリ要求に直面している。本稿では、レプリカの役割やアーキテクチャ固有の操作に応じて数値的な精度を割り当てるレプリカ交換訓練戦略であるアーキテクチャ・アウェア混合精度(AA-MP)を紹介する。
参考スコア（独自算出の注目度）: 7.091792933583924
License:
Abstract: Geometry-aware neural operators face substantial computational and memory demands when learning across complex physical domains. We introduce Architecture-Aware Mixed Precision (AA-MP), a replica-exchange training strategy that allocates numerical precision according to replica roles and architecture-specific operations. By retaining FP32 for refinement while selectively employing BF16 for exploration, AA-MP preserves predictive accuracy while improving training efficiency. Across fluid dynamics and three-dimensional structural mechanics benchmarks, AA-MP achieves comparable accuracy to full-precision training over an ensemble of runs, while reducing hot-replica peak GPU memory by 46.9% and training time by up to 25.8%. It also outperforms naive Automatic Mixed Precision (AMP) in memory efficiency and computational cost, with increasing memory advantages at larger model and geometry scales. Ablation studies show that retaining FP32 in the cold-replica is important for predictive accuracy, while additional FP32 operations in the exploratory replica provide limited benefits relative to their computational cost. Finally, conformal prediction for uncertainty calibration shows that AA-MP achieves near-nominal coverage with narrower prediction intervals than the alternatives. These results advance the scalability of geometry-aware scientific machine learning by reducing computational costs without compromising predictive accuracy or uncertainty quantification.
Abstract（参考訳）: 幾何学を意識したニューラル演算子は、複雑な物理領域をまたいだ学習において、相当な計算とメモリ要求に直面している。本稿では、レプリカの役割やアーキテクチャ固有の操作に応じて数値的な精度を割り当てるレプリカ交換訓練戦略であるアーキテクチャ・アウェア混合精度(AA-MP)を紹介する。 AA−MPは、探索用BF16を選択的に使用しながら精製用FP32を保持することにより、トレーニング効率を向上しつつ予測精度を維持する。流体力学と3次元構造力学のベンチマークで、AA-MPはランニングのアンサンブル上での完全精度トレーニングに匹敵する精度を達成し、ホットレプリカピークのGPUメモリを46.9%削減し、トレーニング時間を最大25.8%短縮した。また、メモリ効率と計算コストにおいて単純な混合精度(AMP)を上回り、より大きなモデルや幾何学スケールでのメモリ優位性を高めている。アブレーション研究では, 低温レプリカにおけるFP32の保持は予測精度において重要である一方で, 探索レプリカにおけるFP32の追加操作は, 計算コストに対して限られた利益をもたらすことが示された。最後に、不確実性校正のための共形予測は、AA-MPが代替よりも狭い予測間隔でほぼ最小のカバレッジを達成することを示す。これらの結果は、予測精度や不確かさの定量化を損なうことなく、計算コストを削減し、幾何認識科学機械学習のスケーラビリティを向上させる。

関連論文リスト

Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training [84.42814959140664]
一般的な治療法は混合精度トレーニング(mixed-precision training)であり、コストの制約を保ちながらパフォーマンスを維持するために高い精度をいくつかのレイヤに割り当てる。本稿では,Q-PACEと呼ばれる2次感度モデルを用いて,各層曲率係数の重み付けによる量子化雑音MSEの和として損失増加を予測する手法を提案する。最大4BパラメータのLLMの事前トレーニングおよび教師付き微調整実験により、Q-PACEは既存の混合精度トレーニングレシピよりも一貫して改善されていることが示された。
論文参考訳（メタデータ） (2026-10-06T22:34:48Z)
Precision-Aware Variable Bit Processing Elements for Hardware-Efficient Systolic Array Designs [0.7359962178534359]
シストリックアレイ (Systolic arrays, SA) は、ディープラーニングにおける行列演算のハードウェアアクセラレータとして注目されている。本研究では,静止重みアレーにおける浮動小数点乗算器の近似計算手法について検討する。
論文参考訳（メタデータ） (2026-08-23T12:00:17Z)
Curvature-aware dynamic precision approach for physics-informed neural networks [3.687363450234871]
近年の研究では、PINNの最適化は数値精度に敏感であることが示されている。既存の実装では、シングル精度(FP32)またはダブル精度(FP64)が一般的である。本稿では,学習中の数値精度に適応する曲率認識精度制御器を提案する。
論文参考訳（メタデータ） (2026-06-03T11:19:53Z)
DPVO-QAT++: Heterogeneous QAT and CUDA Kernel Fusion for High-Performance Deep Patch Visual Odometry [0.8122270502556375]
本稿では,DPVO-QAT++ (DPVO-QAT++: Heterogeneous QAT and Kernel Fusion for High-Performance Deep Patch Visual Odometry)を提案する。
論文参考訳（メタデータ） (2025-11-16T15:38:25Z)
Stochastic Rounding for LLM Training: Theory and Practice [15.071158535119539]
ラウンドリング(SR)を利用して,低精度表現による数値誤差に対処する。最大6.7Bパラメータの事前学習モデルによる実験結果から, SR戦略を用いたBF16が, 混合精度戦略(BF16, FP32)より優れていることが示された。
論文参考訳（メタデータ） (2025-02-27T22:08:08Z)
Video Prediction Transformers without Recurrence or Convolution [65.93130697098658]
我々は、Gated Transformerを完全にベースとしたフレームワークであるPredFormerを提案する。本稿では,映像予測の文脈における3次元注意の包括的分析を行う。精度と効率の両面で大きな改善は、PredFormerの可能性を強調している。
論文参考訳（メタデータ） (2024-10-07T03:52:06Z)
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文参考訳（メタデータ） (2023-09-05T04:39:34Z)
FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
論文参考訳（メタデータ） (2021-07-07T13:39:08Z)
Hybrid In-memory Computing Architecture for the Training of Deep Neural Networks [5.050213408539571]
ハードウェアアクセラレータ上でのディープニューラルネットワーク(DNN)のトレーニングのためのハイブリッドインメモリコンピューティングアーキテクチャを提案する。 HICをベースとしたトレーニングでは,ベースラインに匹敵する精度を達成するために,推論モデルのサイズが約50%小さくなることを示す。シミュレーションの結果,HICをベースとしたトレーニングにより,PCMの耐久限界のごく一部に,デバイスによる書き込みサイクルの回数を自然に確保できることがわかった。
論文参考訳（メタデータ） (2021-02-10T05:26:27Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。