論文の概要: SOAEsV2-7B/72B: Full-Pipeline Optimization for State-Owned Enterprise LLMs via Continual Pre-Training, Domain-Progressive SFT and Distillation-Enhanced Speculative Decoding

• arxiv url: http://arxiv.org/abs/2505.04723v1
• Date: Wed, 07 May 2025 18:21:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.640915
• Title: SOAEsV2-7B/72B: Full-Pipeline Optimization for State-Owned Enterprise LLMs via Continual Pre-Training, Domain-Progressive SFT and Distillation-Enhanced Speculative Decoding
• Title（参考訳）: SOAEsV2-7B/72B: 連続的な事前学習、ドメインプログレッシブSFT、蒸留強化投機的復号化による企業LLMの完全パイプライン最適化
• Authors: Jingyang Deng, Ran Chen, Jo-Ku Cheng, Jinwen Ma,
• Abstract要約: 本研究は、中国国有資産企業(SOAE)向けドメイン固有大規模言語モデル(LLM)開発における重要な課題に対処する。 我々の研究は、SOAEs LLMを最適化するための包括的な完全なパイプラインアプローチを導入し、汎用言語能力とドメイン固有の専門知識のギャップを埋めます。
• 参考スコア（独自算出の注目度）: 10.38247266103905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study addresses key challenges in developing domain-specific large language models (LLMs) for Chinese state-owned assets and enterprises (SOAEs), where current approaches face three limitations: 1) constrained model capacity that limits knowledge integration and cross-task adaptability; 2) excessive reliance on domain-specific supervised fine-tuning (SFT) data, which neglects the broader applicability of general language patterns; and 3) inefficient inference acceleration for large models processing long contexts. In this work, we propose SOAEsV2-7B/72B, a specialized LLM series developed via a three-phase framework: 1) continual pre-training integrates domain knowledge while retaining base capabilities; 2) domain-progressive SFT employs curriculum-based learning strategy, transitioning from weakly relevant conversational data to expert-annotated SOAEs datasets to optimize domain-specific tasks; 3) distillation-enhanced speculative decoding accelerates inference via logit distillation between 72B target and 7B draft models, achieving 1.39-1.52$\times$ speedup without quality loss. Experimental results demonstrate that our domain-specific pre-training phase maintains 99.8% of original general language capabilities while significantly improving domain performance, resulting in a 1.08$\times$ improvement in Rouge-1 score and a 1.17$\times$ enhancement in BLEU-4 score. Ablation studies further show that domain-progressive SFT outperforms single-stage training, achieving 1.02$\times$ improvement in Rouge-1 and 1.06$\times$ in BLEU-4. Our work introduces a comprehensive, full-pipeline approach for optimizing SOAEs LLMs, bridging the gap between general language capabilities and domain-specific expertise.
• Abstract（参考訳）: 本研究は、中国国有資産・企業(SOAE)におけるドメイン固有大規模言語モデル(LLM)開発における重要な課題に対処する。 1)知識統合とクロスタスク適応性を制限する制約付きモデル容量 2)汎用言語パターンの広範な適用性を無視したドメイン固有教師付き微調整(SFT)データへの過度な依存 3) 長いコンテキストを処理する大規模モデルに対する非効率な推論加速度。 本稿では、三相フレームワークを用いて開発された特殊LLMシリーズであるSOAEsV2-7B/72Bを提案する。 1) 継続的な事前訓練は,基本能力を維持しつつ,ドメイン知識を統合する。 2) ドメイン・プログレッシブなSFTはカリキュラムベースの学習戦略を採用しており、弱い関係のある会話データから専門家が注釈付けしたSOAEsデータセットに移行し、ドメイン固有のタスクを最適化します。 3) 蒸留による投機的復号化は, 72Bターゲットと7Bドラフトモデル間のロジット蒸留による推論を加速し, 品質損失のない1.39-1.52$\times$スピードアップを達成した。 実験の結果,我々のドメイン固有の事前学習フェーズでは,99.8%の原言語能力を維持しつつ,ドメイン性能を著しく向上させ,その結果,Rue-1スコアが1.08$\times$、BLEU-4スコアが1.17$\times$拡張された。 さらに、ドメインプログレッシブ SFT はシングルステージトレーニングより優れており、Roge-1 では 1.02$\times$ と BLEU-4 では 1.06$\times$ を達成している。 我々の研究は、SOAEs LLMを最適化するための包括的な完全なパイプラインアプローチを導入し、汎用言語能力とドメイン固有の専門知識のギャップを埋めます。

関連論文リスト

• Can LLMs handle WebShell detection? Overcoming Detection Challenges with Behavioral Function-Aware Framework [11.613261852608062]
  悪意のあるスクリプトをWebサーバに注入するWebShell攻撃は、サイバーセキュリティの大きな脅威である。 この研究は、WebShell検出のためのLarge Language Modelsの実現可能性と限界を初めて探求した。
  論文  参考訳（メタデータ） (2025-04-14T21:09:37Z)
• FAIT: Fault-Aware Fine-Tuning for Better Code Generation [11.8755180563981]
  本研究では、命令調整された大規模言語モデルのコード生成を強化するために、FAIT(Fault-Aware Fine-Tuning)を提案する。 本手法は,パス@1の相対的改善率を6.9%向上させる。 改良された6.7B LLMは、GPT-3.5-Turboなどのクローズドソースモデルより優れている。
  論文  参考訳（メタデータ） (2025-03-21T07:23:26Z)
• Fragile Mastery: Are Domain-Specific Trade-Offs Undermining On-Device Language Models? [0.0]
  Generalized Edge Model (GEM) は、堅牢性と一般化を調和的にバランスさせることを目的としている。 GEMはSparse Cross-Attention Router (SCAR) を使用して、可変数のコンピューティングリソースに動的に割り当てる。 GPT-4 Liteと比較して、GEMはドメイン固有のパフォーマンスの尊重と同等性に対して、一般タスクレベルを7%向上させる。
  論文  参考訳（メタデータ） (2025-03-16T18:30:26Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance [0.32985979395737774]
  本稿では,ドメイン固有タスクのための細調整型大規模言語モデル (LLM) の詳細な解析を行う。 ドメイン固有のケースでは、ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略ではないことが分かりました。 我々は、Phi-3-Miniのような小さなモデルが、どのようにして最先端の結果が得られるかを実証する。
  論文  参考訳（メタデータ） (2024-10-01T22:35:56Z)
• On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
  さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。 その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
  論文  参考訳（メタデータ） (2024-09-30T03:58:43Z)
• DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
  大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。 開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。 デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-27T12:26:07Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。