論文の概要: Accelerating Bangla NLP Tasks with Automatic Mixed Precision: Resource-Efficient Training Preserving Model Efficacy

• arxiv url: http://arxiv.org/abs/2512.00829v1
• Date: Sun, 30 Nov 2025 10:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.438252
• Title: Accelerating Bangla NLP Tasks with Automatic Mixed Precision: Resource-Efficient Training Preserving Model Efficacy
• Title（参考訳）: 自動混合精度によるバングラNLPタスクの高速化:モデル効率を保つ資源効率の高いトレーニング
• Authors: Md Mehrab Hossain Opi, Sumaiya Khan, Moshammad Farzana Rahman,
• Abstract要約: モデル性能を犠牲にすることなく、計算効率を向上させる手段として、自動混合精度訓練(AMP)について検討する。 我々は、感情分析、名前付きエンティティ認識、エラー分類、質問応答の4つの標準Bangla NLPタスクでAMPを評価した。 その結果、AMPはトレーニングを44.5%加速し、メモリ消費を17.6%削減し、F-1スコアは全精度ベースラインの99.7%以内を維持した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training models for Natural Language Processing (NLP) requires substantial computational resources and time, posing significant challenges, especially for NLP development in Bangla, where access to high-end hardware is often limited. In this work, we explore automatic mixed precision (AMP) training as a means to improve computational efficiency without sacrificing model performance. By leveraging a dynamic mix of 16-bit and 32-bit floating-point computations, AMP lowers GPU memory requirements and speeds up training without degrading model performance. We evaluate AMP across four standard Bangla NLP tasks, namely sentiment analysis, named entity recognition, error classification, and question answering, using four transformer-based models: BanglaBERT, BanglishBERT, XLM-R, and mBERT. Our results demonstrate that AMP accelerates training by 44.5% and reduces memory consumption by 17.6%, while maintaining F-1 score within 99.7% of the full-precision baselines. This empirical study highlights AMP's potential to democratize access to state-of-the-art NLP capabilities in hardware-constrained settings by lowering computational barriers.
• Abstract（参考訳）: 自然言語処理(NLP)のトレーニングモデルにはかなりの計算資源と時間が必要であり、特にハイエンドハードウェアへのアクセスが制限されるバングラでのNLP開発において大きな課題を生んでいる。 本研究では,モデル性能を犠牲にすることなく,計算効率を向上させる手段として,自動混合精度訓練(AMP)を提案する。 16ビットと32ビットの浮動小数点演算を動的に組み合わせることで、AMPはGPUメモリ要件を低くし、モデルパフォーマンスを劣化させることなくトレーニングを高速化する。 我々は,BanglaBERT,BanglishBERT,XLM-R,mBERTの4つのトランスフォーマーモデルを用いて,感情分析,名前付きエンティティ認識,エラー分類,質問応答の4つの標準Bangla NLPタスクのAMPを評価した。 その結果、AMPはトレーニングを44.5%加速し、メモリ消費を17.6%削減し、F-1スコアは全精度ベースラインの99.7%以内を維持した。 この実証的研究は、計算障壁を低くすることで、ハードウェア制約された環境での最先端のNLP機能へのアクセスを民主化するAMPの可能性を強調している。

関連論文リスト

• Pretraining Large Language Models with NVFP4 [53.235038214986865]
  我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。 本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。 以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T17:53:17Z)
• InfiR2: A Comprehensive FP8 Training Recipe for Reasoning-Enhanced Language Models [34.21089641502727]
  本稿では、連続的な事前学習と教師付き微調整をシームレスに統合するエンドツーエンドのFP8トレーニングレシピを提案する。 我々は,FP8をBF16の実用的で堅牢な代替品として確立し,大規模モデルトレーニングをさらに民主化するためのコードをリリースする。
  論文  参考訳（メタデータ） (2025-09-26T16:16:49Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• FP8-LM: Training FP8 Large Language Models [47.17804713425323]
  本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。 実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T17:59:51Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。