論文の概要: HPC-LLM: Practical Domain Adaptation and Retrieval-Augmented Generation for HPC Support

• arxiv url: http://arxiv.org/abs/2605.16347v1
• Date: Fri, 08 May 2026 03:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.904012
• Title: HPC-LLM: Practical Domain Adaptation and Retrieval-Augmented Generation for HPC Support
• Title（参考訳）: HPC-LLM:HPCサポートのための実践的ドメイン適応と検索型生成
• Authors: Nourin Shahin, Izzat Alsmadi,
• Abstract要約: 汎用大規模言語モデル(LLM)は、有用なコーディング支援を提供するが、信頼できるHPCサポートに必要なドメイン固有の運用知識を欠くことが多い。 本稿では、Slurmスケジューリング、MPI実行、GPU利用、管理、クラスタトラブルシューティングなど、一般的なHPCをサポートするために設計された検索拡張およびドメイン適応型アシスタントであるHPC-LLMを提案する。 提案するフレームワークは,自動ドキュメンテーションの取り込み,高密度検索,QLoRAを使用した軽量ドメイン適応,モジュールオーケストレーションパイプライン内のローカル推論を統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern scientific research increasingly depends on High-Performance Computing (HPC) infrastructures, yet many researchers face significant operational barriers when interacting with cluster environments, job schedulers, GPU resources, and parallel computing frameworks. General-purpose large language models (LLMs) provide useful coding assistance but often lack the domain-specific operational knowledge required for reliable HPC support. This paper presents HPC-LLM, a retrieval augmented and domain-adapted assistant designed to support common HPC workflows including Slurm scheduling, MPI execution, GPU utilization, filesystem management, and cluster troubleshooting. The proposed framework integrates automated documentation ingestion, dense retrieval, lightweight domain adaptation using QLoRA, and local inference within a modular orchestration pipeline. To support domain adaptation, we construct an HPC-oriented corpus from publicly available university HPC documentation, curated operational examples, and synthetic instruction-answer pairs generated from retrieved HPC content. The resulting dataset contains approximately 9,000 to 24,000 HPC-focused training examples spanning job scheduling, GPU computing, distributed training, storage systems, and cluster administration topics. We fine-tune Llama 3.1 8B using QLoRA and evaluate the resulting model against several open weight baselines under retrieval-augmented settings on JetStream2 infrastructure. Experimental results indicate that the adapted 8B model achieves performance comparable to substantially larger general-purpose models while operating under significantly lower GPU memory requirements and inference latency. In particular, the adapted model approaches the performance of Qwen 2.5 14B while requiring substantially fewer computational resources.
• Abstract（参考訳）: 現代の科学研究はハイパフォーマンスコンピューティング(HPC)のインフラにますます依存しているが、多くの研究者がクラスタ環境、ジョブスケジューラ、GPUリソース、並列コンピューティングフレームワークとのインタラクションにおいて、重大な運用上の障壁に直面している。 汎用大規模言語モデル(LLM)は、有用なコーディング支援を提供するが、信頼できるHPCサポートに必要なドメイン固有の運用知識を欠くことが多い。 本稿では,Slurmスケジューリング,MPI実行,GPU利用,ファイルシステム管理,クラスタトラブルシューティングなど,一般的なHPCワークフローをサポートするために設計された検索拡張およびドメイン適応型アシスタントであるHPC-LLMを提案する。 提案するフレームワークは,自動ドキュメンテーションの取り込み,高密度検索,QLoRAを使用した軽量ドメイン適応,モジュールオーケストレーションパイプライン内のローカル推論を統合する。 ドメイン適応を支援するため,公開の大学HPC資料からHPC指向コーパスを構築し,実運用例を整理し,検索したHPCコンテンツから生成した合成インストラクション・アンサーペアを作成した。 得られたデータセットには、ジョブスケジューリング、GPUコンピューティング、分散トレーニング、ストレージシステム、クラスタ管理トピックにまたがる、約9000から24,000のHPC中心のトレーニング例が含まれている。 我々は、QLoRAを用いてLlama 3.1 8Bを微調整し、JetStream2インフラストラクチャ上での検索強化設定の下で、いくつかのオープンウェイトベースラインに対して結果モデルを評価する。 実験結果から,適応型8Bモデルは,GPUメモリ要件と推論遅延を著しく低めながら,より大規模な汎用モデルに匹敵する性能を達成できることが示唆された。 特に適応モデルはQwen 2.5 14Bの性能に近づき、計算資源は大幅に少ない。

関連論文リスト

• Hybrid Quantum-HPC Middleware Systems for Adaptive Resource, Workload and Task Management [1.1775814290229856]
  本稿では,ハイブリッド量子HPCシステムにおけるアダプティブリソース,ワークロード,タスク管理に対する抽象化に基づくアプローチを提案する。 i)ワークフロー、ワークロード、タスク、リソースレベルの管理を分解し、ヘテロジニアスな量子-HPCリソース上でアプリケーション認識スケジューリングを可能にする概念的な4層アーキテクチャ、(ii)ハイブリッドアプリケーションの相互作用と結合特性を捉え、システマティックなワークロード評価のための量子ミニアプリケーションとして実現した一連の実行モチーフ、(iii)パイロット-Quantum、遅延バインディングと動的リソース割り当てを可能にするパイロットランタイム上に構築されたフレームワーク、(iv)Q-Dream。
  論文  参考訳（メタデータ） (2026-04-03T20:37:06Z)
• Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
  本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。 動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。 その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
  論文  参考訳（メタデータ） (2025-08-25T09:11:27Z)
• InternBootcamp Technical Report: Boosting LLM Reasoning with Verifiable Task Scaling [71.37579508777843]
  大規模言語モデル(LLM)は、複雑な推論機能を実現することによって、人工知能に革命をもたらした。 このギャップに対処するため、1000以上のドメイン分散タスク環境からなるオープンソースのフレームワークであるInternBootcampを紹介します。
  論文  参考訳（メタデータ） (2025-08-12T05:00:00Z)
• ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning [50.53705050673944]
  ULTHOは,1回の走行で深部RLで高速HPOを実現するための,超軽量で強力なフレームワークである。 具体的には、HPOプロセスは、クラスタ化されたアーム(MABC)を備えたマルチアームバンディットとして定式化し、それを長期の戻り値の最適化に直接リンクする。 ALE、Procgen、MiniGrid、PyBulletなどのベンチマークでULTHOをテストする。
  論文  参考訳（メタデータ） (2025-03-08T07:03:43Z)
• LLM as HPC Expert: Extending RAG Architecture for HPC Data [0.058520770038704165]
  本稿では、検索補助生成(RAG)を拡張する新しい手法である仮説コマンド埋め込み(HyCE)を紹介する。 HyCEは、大規模言語モデル(LLM)をリアルタイムなユーザ固有のHPC情報で強化し、そのようなデータに対する微調整モデルの制限に対処する。 我々は、データプライバシやコマンド実行リスクなど、重要なセキュリティ上の問題に対処し、HPC環境にLLMをデプロイする。
  論文  参考訳（メタデータ） (2024-12-09T02:55:30Z)
• HPC-GPT: Integrating Large Language Model for High-Performance Computing [3.8078849170829407]
  HPCドメインに対して生成されたQA(Question-Answer)インスタンスを用いて微調整を行う新しいLLaMAモデルであるHPC-GPTを提案する。 その有効性を評価するために、AIモデルとHPC用データセットの管理とデータ競合検出という2つのHPCタスクに集中する。 LLMとHPC固有のタスク間の性能ギャップを埋めるHPC-GPTの可能性について検討した。
  論文  参考訳（メタデータ） (2023-10-03T01:34:55Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training [42.514897110537596]
  現代のディープラーニング(DL)モデルは、トレーニングする専門的でハイエンドなノードの大規模なクラスタを必要とするサイズに成長しています。 このようなクラスタを設計してパフォーマンスと利用の両方を最大化します。 本稿では,並列化戦略と鍵クラスタリソースのプロビジョニングが分散DLトレーニングのパフォーマンスに与える影響を共同で研究する,総合的なクラスタ設計方法論とワークフローであるCOMETを紹介する。
  論文  参考訳（メタデータ） (2022-11-30T00:32:37Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Integrating Deep Learning in Domain Sciences at Exascale [2.241545093375334]
  我々は,大規模HPCシステム上でディープラーニングモデルとアプリケーションを効率的に動作させるための既存パッケージの評価を行った。 本稿では,現在の大規模異種システムに対する新しい非同期並列化と最適化手法を提案する。 従来の計算集約型アプリケーションとデータ集約型アプリケーションをAIで拡張するための図表と潜在的なソリューションを提案する。
  論文  参考訳（メタデータ） (2020-11-23T03:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。