論文の概要: HPC-GPT: Integrating Large Language Model for High-Performance Computing
- arxiv url: http://arxiv.org/abs/2311.12833v1
- Date: Tue, 3 Oct 2023 01:34:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 15:35:05.269593
- Title: HPC-GPT: Integrating Large Language Model for High-Performance Computing
- Title(参考訳): HPC-GPT:高性能コンピューティングのための大規模言語モデルの統合
- Authors: Xianzhong Ding, Le Chen, Murali Emani, Chunhua Liao, Pei-Hung Lin,
Tristan Vanderbruggen, Zhen Xie, Alberto E. Cerpa, Wan Du
- Abstract要約: HPCドメインに対して生成されたQA(Question-Answer)インスタンスを用いて微調整を行う新しいLLaMAモデルであるHPC-GPTを提案する。
その有効性を評価するために、AIモデルとHPC用データセットの管理とデータ競合検出という2つのHPCタスクに集中する。
LLMとHPC固有のタスク間の性能ギャップを埋めるHPC-GPTの可能性について検討した。
- 参考スコア(独自算出の注目度): 3.8078849170829407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs), including the LLaMA model, have exhibited their
efficacy across various general-domain natural language processing (NLP) tasks.
However, their performance in high-performance computing (HPC) domain tasks has
been less than optimal due to the specialized expertise required to interpret
the model responses. In response to this challenge, we propose HPC-GPT, a novel
LLaMA-based model that has been supervised fine-tuning using generated QA
(Question-Answer) instances for the HPC domain. To evaluate its effectiveness,
we concentrate on two HPC tasks: managing AI models and datasets for HPC, and
data race detection. By employing HPC-GPT, we demonstrate comparable
performance with existing methods on both tasks, exemplifying its excellence in
HPC-related scenarios. Our experiments on open-source benchmarks yield
extensive results, underscoring HPC-GPT's potential to bridge the performance
gap between LLMs and HPC-specific tasks. With HPC-GPT, we aim to pave the way
for LLMs to excel in HPC domains, simplifying the utilization of language
models in complex computing applications.
- Abstract(参考訳): LLaMAモデルを含むLarge Language Models (LLM)は、様々な汎用自然言語処理(NLP)タスクに対して有効性を示した。
しかし、モデル応答の解釈に必要な専門知識のため、ハイパフォーマンスコンピューティング(HPC)ドメインタスクのパフォーマンスは最適以下である。
この課題に対応するために,HPCドメインの生成したQA(Question-Answer)インスタンスを用いて微調整を行う新しいLLaMAモデルであるHPC-GPTを提案する。
その有効性を評価するため、AIモデルとデータセットの管理とデータ競合検出という2つのHPCタスクに集中する。
HPC-GPTを用いることで、HPC関連シナリオにおけるその卓越性を実証し、既存の手法に匹敵する性能を示す。
LLMとHPC固有のタスク間の性能ギャップを埋めるHPC-GPTの可能性について検討した。
HPC-GPT では,LLM が HPC ドメインで優れ,複雑な計算アプリケーションにおける言語モデルの利用を簡略化することを目的としている。
関連論文リスト
- Entropy-Regularized Token-Level Policy Optimization for Large Language
Models [76.02428537504323]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
その結果,ETPO は CodeLlama-7B モデルで有効な性能向上を実現し,RLHF から受け継いだ変種 PPO ベースラインを超越していることがわかった。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - The Landscape and Challenges of HPC Research and LLMs [12.57518012358534]
大規模言語モデル(LLM)はディープラーニングの分野に革命をもたらした。
エンコーダデコーダモデルとプロンプトベースのテクニックは、自然言語処理とコードベースのタスクにとって大きな可能性を示している。
論文 参考訳(メタデータ) (2024-02-03T04:21:07Z) - Domain-Specific Code Language Models: Unraveling the Potential for HPC
Codes and Tasks [5.250454826260407]
ソフトウェア開発におけるAIのトレンドは、様々なプログラミングタスクに対処するより大きな言語モデル(LLM)を開発することである。
ハイパフォーマンスコンピューティング(HPC)領域のタスクに適用されるLLMでさえ、巨大なサイズであり、トレーニングに高価な計算リソースを必要とする。
私たちは、既存のLMよりも桁違いに小さいが、パフォーマンスは良くないものの、HPC固有のLM、MonoCoderを構築しています。
論文 参考訳(メタデータ) (2023-12-20T15:11:06Z) - Exploring the Potential of Large Language Models in Computational
Argumentation [59.926959119656416]
大規模言語モデル(LLM)は、文脈を理解し、自然言語を生成する強力な能力を示している。
既存のタスクを6つのメインクラスに整理し、14のオープンソースデータセットのフォーマットを標準化します。
大規模な実験により、LLMはこれらのデータセットのほとんどにわたって可換な性能を示すことが示された。
論文 参考訳(メタデータ) (2023-11-15T15:12:15Z) - Parameter and Computation Efficient Transfer Learning for
Vision-Language Pre-trained Models [79.34513906324727]
本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。
そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
論文 参考訳(メタデータ) (2023-09-04T09:34:33Z) - Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。
人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。
本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
論文 参考訳(メタデータ) (2023-07-11T01:55:24Z) - LM4HPC: Towards Effective Language Model Application in High-Performance
Computing [0.46180371154032884]
我々は、LMを用いたHPCソフトウェア解析および最適化の研究・開発を容易にするために、LM4 HPCフレームワークを設計する。
私たちのフレームワークは、Hugging Face互換APIを使用して、機械学習ソフトウェアスタックのさまざまなレベルのコンポーネントの上に構築されています。
その結果、LM4 HPCは、ユーザーが最先端のモデル群を迅速に評価し、洞察に富んだリーダーボードを生成するのに役立つことがわかった。
論文 参考訳(メタデータ) (2023-06-26T18:05:03Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。
本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。
このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
論文 参考訳(メタデータ) (2023-05-04T02:09:43Z) - Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳(メタデータ) (2023-02-08T02:38:26Z) - AI-coupled HPC Workflows [1.5469452301122175]
従来のHPCにAI/MLモデルを導入することは、非常に正確なモデリングを可能にしてきた。
AI/MLモデルをHPC計算に統合するさまざまなモードにより、さまざまなタイプのAI結合型HPCが生成される。
論文 参考訳(メタデータ) (2022-08-24T19:16:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。