論文の概要: YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition
- arxiv url: http://arxiv.org/abs/2606.05868v1
- Date: Thu, 04 Jun 2026 08:44:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.658906
- Title: YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition
- Title（参考訳）: YouZhi: 適応型GQA-MLA遷移による高速金融LLMの実現に向けて
- Abstract要約: 大きな言語モデル(LLM)は、大きな金融革新をもたらすが、そのデプロイメントはKVキャッシュメモリのオーバーヘッドによってボトルネックになる。
我々は,Huawei Ascendエコシステム上に構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
- 参考スコア（独自算出の注目度）: 78.52944812151664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) drive significant financial innovations, yet their high-concurrency deployment is severely bottlenecked by KV cache memory overhead, which inflates infrastructure costs and throttles scalability. To address this, we propose YouZhi-LLM, a highly efficient financial LLM empowered by a comprehensive structural transition and training pipeline natively built on the Huawei Ascend ecosystem. At its algorithmic core, YouZhi-LLM features a layer-adaptive GQA-to-MLA transition framework that dynamically assigns per-layer FreqFold sizes, maximizing KV-cache compression while minimizing perplexity degradation. To recover representation capacity and inject domain expertise, the Ascend-based training pipeline seamlessly integrates generalized knowledge distillation with financial-specific supervised fine-tuning. Evaluations demonstrate the superiority of this systematic approach, with the adaptive transition reducing perplexity degradation by up to 35% over uniform baselines. Crucially, when evaluated on Ascend NPUs via vLLM-Ascend, the massive KV-cache reduction translates directly into deployment efficiency. Compared to their respective base models, YouZhi-7B yields a 12.3% improvement in average financial benchmark score alongside a 2.69$\times$ increase in maximum concurrency; similarly, YouZhi-14B achieves a 7.0% accuracy gain and a 2.43$\times$ concurrency boost, establishing a new paradigm for cost-effective, high-throughput financial inference.
- Abstract（参考訳）: 大規模言語モデル(LLM)は大きな金融革新をもたらすが、その高速なデプロイメントはKVキャッシュメモリのオーバーヘッドによって著しくボトルネックとなり、インフラストラクチャのコストが膨らみ、スケーラビリティが損なわれる。
そこで我々は,Huawei Ascendエコシステム上にネイティブに構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
アルゴリズムコアでは、YouZhi-LLMは層適応型GQA-to-MLAトランジションフレームワークを備え、層ごとのFreqFoldサイズを動的に割り当て、KV-cache圧縮を最大化し、パープレキシティ劣化を最小限にする。
表現能力の回復とドメインの専門知識の注入のために、Ascendベースのトレーニングパイプラインは、一般的な知識蒸留と金融特有の微調整をシームレスに統合する。
適応的遷移は均一なベースラインに対して最大35%のパープレキシティ劣化を減少させる。
重要なことは、vLLM-Ascendを介してAscend NPUを評価した場合、大規模なKV-cache削減は、直接デプロイ効率に変換される。
それぞれのベースモデルと比較すると、YouZhi-7Bは平均的な金融ベンチマークスコアを12.3%改善し、最大並行性は2.69$\times$上昇し、YouZhi-14Bは7.0%の精度向上と2.43$\times$並行性向上を実現し、コスト効率の高い高スループットの金融推論のための新しいパラダイムを確立している。
関連論文リスト
- MMOE: Modernizing Diffusion Transformers with Efficient Expert Design [76.86793131833551]
現代の大規模言語モデルは、キャパシティの増大と効率のペアリング、トーケン毎の維持、およびキャパシティの増大に伴うデプロイメントコストの制御によって、うまくスケールする。
近年の取り組みは, LLMのスケーリングを実践する効率メカニズムをインポートすることなく, 全パラメータ数と空間比を大きくした。
我々は、ルーティングされた専門家、共有および軽量の専門家、ゲート-残留ルーティング、AIGC生成へのアテンション-残留情報再利用に対応する、SiTスタイルの拡散変換器の近代化であるModernMOEを紹介する。
論文 参考訳（メタデータ） (2026-07-27T17:05:04Z) - A1: A Fully Transparent Open-Source, Adaptive and Efficient Truncated Vision-Language-Action Model [112.9420001646428]
VLA(Vision-Language-Action)モデルは、オープンワールドロボット操作の強力なパラダイムとして登場したが、実際の展開はコストに制約されることが多い。
我々は、低コストで高スループットな推論のために設計された、完全にオープンソースで透明なVLAフレームワークであるA1を提示する。
A1は最先端の成功率を達成すると同時に、推論コストを大幅に削減する。
論文 参考訳（メタデータ） (2026-04-07T10:18:40Z) - Cost-Efficient Multimodal LLM Inference via Cross-Tier GPU Heterogeneity [0.0]
MLLM(Multimodal large language model)推論は、ハードウェア要求に反する2つのフェーズに分けられる。
標準変圧器KVキャッシングの下では、モダリティ境界はデバイス間転送を最小化する。
We build HeteroServe, a phase-aware runtime with modality-level partitioning and cross-tier scheduling。
論文 参考訳（メタデータ） (2026-03-13T06:42:35Z) - Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。
私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。
実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
論文 参考訳（メタデータ） (2026-01-25T03:07:54Z) - Financial Text Classification Based On rLoRA Finetuning On Qwen3-8B model [0.0]
最先端モデルQwen3-8Bは、強い命令追従と多言語機能を示す。
推論ベースのベンチマークで、特に効率的な微調整と高性能に最適化されている。
命令ベースの微調整とメモリ効率の最適化手法の相乗効果は、Qwen3-8Bがリアルタイム金融NLPアプリケーションにスケーラブルで経済的な選択肢となる可能性を示唆している。
論文 参考訳（メタデータ） (2025-11-29T21:04:13Z) - EcoSpa: Efficient Transformer Training with Coupled Sparsity [79.5008521101473]
トランスフォーマーは現代のAIのバックボーンとなっているが、その高い計算要求は重要なシステム課題を引き起こしている。
EcoSpaは、結合した重み行列対を共同で評価し、スパース化する効率的な構造的スパース訓練法である。
論文 参考訳（メタデータ） (2025-11-09T11:23:43Z) - Type-Compliant Adaptation Cascades: Adapting Programmatic LM Workflows to Data [12.136710894967088]
本稿では,ワークフロー適応を学習型確率型プログラムとして再放送するフレームワークであるType-Compliant Adaptation Cascadesを紹介する。
経験的に、TACは最先端のプロンプト最適化ベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2025-08-25T17:36:21Z) - ECHO-LLaMA: Efficient Caching for High-Performance LLaMA Training [18.081172277354145]
ECHO-LLaMAはLLaMAモデルを特定の層にまたがる共有KVキャッシュに変換する。
ECHO-LLaMAは、トレーニング中のトークン/秒のスループットを最大77%向上させる。
ECHO-LLaMAは、大規模言語モデルの事前トレーニングと微調整のためのスケーラブルで費用効率の良いソリューションを提供する。
論文 参考訳（メタデータ） (2025-05-22T22:54:21Z) - Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。
本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2025-02-20T18:50:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。