論文の概要: An End-to-End Framework for Building Large Language Models for Software Operations

• arxiv url: http://arxiv.org/abs/2605.02906v1
• Date: Mon, 06 Apr 2026 02:40:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.504439
• Title: An End-to-End Framework for Building Large Language Models for Software Operations
• Title（参考訳）: ソフトウェア運用のための大規模言語モデル構築のためのエンドツーエンドフレームワーク
• Authors: Jingkai He, Pengfei Chen, Chenghui Wu, Shuang Liang, Ye Li, Gou Tan, Xiadao Wen, Chuanfu Zhang,
• Abstract要約: OpsLLMは、ソフトウェア操作のためのドメイン固有の大規模言語モデルである。 知識に基づく質問応答(QA)と根本原因分析(RCA)の両方をサポートする。 7B、14B、32Bパラメータを持つOpsLLMの3つのバージョンと15Kの微調整データセットをオープンソースにします。
• 参考スコア（独自算出の注目度）: 9.453014847107069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of software operations, Large Language Models (LLMs) have attracted increasing attention. However, existing research has not yet achieved efficient and effective end-to-end intelligent operations due to low-quality data, fragmented knowledge and insufficient learning. To explore the potential of LLMs in software operations, we propose OpsLLM, a domain-specific LLM that supports both knowledge-based question answering (QA) and root cause analysis (RCA). Moreover, we disclose the detailed workflow for building LLMs specifically in the software operations domain. First, a Human-in-the-Loop mechanism is introduced to curate highquality data from a large collection of operational raw data and construct a fine-tuning dataset. Then, based on the data, supervised fine-tuning is conducted to achieve a base model. Furthermore, we introduce a domain process reward model (DPRM) during the reinforcement learning stage to optimize the accuracy and reliability of the fine-tuned model on RCA tasks. Experimental results on the tasks with diverse difficulties demonstrate that OpsLLMs effectively learns and aligns with the operational domain knowledge infused, outperforming existing open-source and closed-source LLMs in accuracy with improvements of 0.2%~5.7% on QA tasks and 2.7% ~70.3% on RCA tasks, while exhibiting strong transferability. Moreover, we will open-source three versions of OpsLLM with 7B, 14B and 32B parameters, along with a 15K fine-tuning dataset.
• Abstract（参考訳）: ソフトウェアオペレーションの分野では、LLM(Large Language Models)が注目されている。 しかし、既存の研究は、低品質のデータ、断片化された知識、不十分な学習のために、効率的で効果的なエンドツーエンドの知的操作をまだ達成していない。 ソフトウェア操作におけるLLMの可能性を探るため,知識に基づく質問応答(QA)と根本原因分析(RCA)の両方をサポートするドメイン固有のLLMであるOpsLLMを提案する。 さらに、ソフトウェアオペレーション領域に特化してLSMを構築するための詳細なワークフローを開示する。 まず、Human-in-the-Loopメカニズムを導入し、大量の運用生データから高品質なデータをキュレートし、微調整データセットを構築する。 そして、そのデータに基づいて教師付き微調整を行い、ベースモデルを実現する。 さらに、強化学習段階におけるドメインプロセス報酬モデル(DPRM)を導入し、RCAタスクにおける微調整モデルの精度と信頼性を最適化する。 様々な困難を伴うタスクに関する実験結果は、OpsLLMsが効果的に学習し、既存のオープンソースおよびクローズドソースのLLMよりも精度が良く、QAタスクは0.2%〜5.7%、RCAタスクは2.7%～70.3%向上し、強力な転送可能性を示していることを示している。 さらに,7B,14B,32Bパラメータを備えたOpsLLMの3つのバージョンと,15Kの微調整データセットをオープンソースとして公開します。

関連論文リスト

• The Path of Self-Evolving Large Language Models: Achieving Data-Efficient Learning via Intrinsic Feedback [51.144727949988436]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める可能性を実証した。 本研究では,最小限のデータを用いたLLによるLLMの改善について検討する。 データ依存を最小限に抑えるため、自己認識に基礎を置いた2つの新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2025-10-03T06:32:10Z)
• Integrating External Tools with Large Language Models to Improve Accuracy [0.0]
  関連した文脈情報がないと、大きな言語モデル(LLM)は質の悪い応答を提供するか、幻覚を起こす傾向があることはよく知られている。 いくつかのイニシアチブは、LCMを外部ツールに統合して、正確性を改善するために最新のデータを提供することを提案している。 本稿では,学習環境における問合せに対するLLMの能力を高めるために,外部ツールを統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-09T04:09:59Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud [12.651588927599441]
  モデル微調整の効率を大幅に向上するために,データ拡張モデル群を提案する。 これらのモデルは十分に小さなLLMに基づいて訓練され、推論コストの低い重要な機能をサポートする。 実験と応用研究は、我々のアプローチの有効性を証明した。
  論文  参考訳（メタデータ） (2024-12-06T09:04:12Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Unleashing LLM Reasoning Capability via Scalable Question Synthesis from Scratch [54.12139707822201]
  本稿では,新しい,スケーラブルで費用対効果の高いデータ合成手法であるScaleQuestを提案する。 スクラッチから多様な質問を生成することで、100万の問題解決ペアのデータセットを生成します。 私たちの実験では、データに基づいてトレーニングされたモデルが、既存のオープンソースデータセットより優れています。
  論文  参考訳（メタデータ） (2024-10-24T12:42:04Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。