論文の概要: LM4HPC: Towards Effective Language Model Application in High-Performance Computing

• arxiv url: http://arxiv.org/abs/2306.14979v1
• Date: Mon, 26 Jun 2023 18:05:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 15:48:10.660931
• Title: LM4HPC: Towards Effective Language Model Application in High-Performance Computing
• Title（参考訳）: LM4HPC:高性能コンピューティングにおける効果的な言語モデル応用を目指して
• Authors: Le Chen and Pei-Hung Lin and Tristan Vanderbruggen and Chunhua Liao and Murali Emani and Bronis de Supinski
• Abstract要約: 我々は、LMを用いたHPCソフトウェア解析および最適化の研究・開発を容易にするために、LM4 HPCフレームワークを設計する。 私たちのフレームワークは、Hugging Face互換APIを使用して、機械学習ソフトウェアスタックのさまざまなレベルのコンポーネントの上に構築されています。 その結果、LM4 HPCは、ユーザーが最先端のモデル群を迅速に評価し、洞察に富んだリーダーボードを生成するのに役立つことがわかった。
• 参考スコア（独自算出の注目度）: 0.46180371154032884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, language models (LMs), such as GPT-4, have been widely used in multiple domains, including natural language processing, visualization, and so on. However, applying them for analyzing and optimizing high-performance computing (HPC) software is still challenging due to the lack of HPC-specific support. In this paper, we design the LM4HPC framework to facilitate the research and development of HPC software analyses and optimizations using LMs. Tailored for supporting HPC datasets, AI models, and pipelines, our framework is built on top of a range of components from different levels of the machine learning software stack, with Hugging Face-compatible APIs. Using three representative tasks, we evaluated the prototype of our framework. The results show that LM4HPC can help users quickly evaluate a set of state-of-the-art models and generate insightful leaderboards.
• Abstract（参考訳）: 近年,GPT-4などの言語モデル(LM)は,自然言語処理や可視化など,複数の領域で広く利用されている。 しかし,HPC固有のサポートがないため,ハイパフォーマンスコンピューティング (HPC) ソフトウェアの解析と最適化に応用することは依然として困難である。 本稿では,LMを用いたHPCソフトウェア解析・最適化の研究開発を容易にするために,LM4HPCフレームワークを設計する。 HPCデータセット、AIモデル、パイプラインをサポートするために設計された私たちのフレームワークは、Hugging Face互換APIを使用して、機械学習ソフトウェアスタックのさまざまなレベルのコンポーネントの上に構築されています。 3つの代表的なタスクを用いて,フレームワークのプロトタイプを評価した。 その結果,LM4HPCは,最先端モデルの集合を素早く評価し,洞察に富んだリーダボードを生成するのに役立つことがわかった。

関連論文リスト

• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Octopus: On-device language model for function calling of software APIs [9.78611123915888]
  大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。 本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-02T01:29:28Z)
• Language-Driven Engineering An Interdisciplinary Software Development Paradigm [51.29189754953934]
  私たちの図には、完全なコード生成をサポートする7つのグラフィカル統合モデリング環境(IME)が含まれています。 4つのブラウザベースのアプリケーションがモデル化され、その後完全に自動生成され、DIMEを使って生成される。 私たちの技術はオープンソースで、現在製品が使用されています。
  論文  参考訳（メタデータ） (2024-02-16T13:37:57Z)
• The Landscape and Challenges of HPC Research and LLMs [12.57518012358534]
  大規模言語モデル(LLM)はディープラーニングの分野に革命をもたらした。 エンコーダデコーダモデルとプロンプトベースのテクニックは、自然言語処理とコードベースのタスクにとって大きな可能性を示している。
  論文  参考訳（メタデータ） (2024-02-03T04:21:07Z)
• MonoCoder: Domain-Specific Code Language Model for HPC Codes and Tasks [5.125171374181664]
  ソフトウェア開発におけるAIのトレンドは、様々なプログラミングタスクに対処する大規模言語モデル(LLM)を開発することである。 ハイパフォーマンスコンピューティング(HPC)領域のタスクに適用されるLLMでさえ、巨大なサイズであり、トレーニングに高価な計算リソースを必要とする。 これは、HPCタスク用のLLMが、いくつかの自然および/またはプログラミング言語をサポートする既存のLLMを微調整することによって得られるためである。 既存のLMよりも桁違いに小さいが,非HPCおよびHPCコードでは性能が向上するMonoCoderという,HPC固有のLMを構築している。
  論文  参考訳（メタデータ） (2023-12-20T15:11:06Z)
• What Makes for Good Visual Instructions? Synthesizing Complex Visual Reasoning Instructions for Visual Instruction Tuning [115.19451843294154]
  マルチモーダル大言語モデル(MLLM)のゼロショット一般化能力向上のためのビジュアルインストラクションチューニング 本稿では,高品質な視覚的推論命令を自動生成するための体系的アプローチを提案する。 我々のデータセットは、MME-CognitionにおけるMiniGPT-4とBLIP-2の性能をそれぞれ32.6%、28.8%向上させるなど、比較したMLLMの性能を一貫して向上させる。
  論文  参考訳（メタデータ） (2023-11-02T15:36:12Z)
• HPC-GPT: Integrating Large Language Model for High-Performance Computing [3.8078849170829407]
  HPCドメインに対して生成されたQA(Question-Answer)インスタンスを用いて微調整を行う新しいLLaMAモデルであるHPC-GPTを提案する。 その有効性を評価するために、AIモデルとHPC用データセットの管理とデータ競合検出という2つのHPCタスクに集中する。 LLMとHPC固有のタスク間の性能ギャップを埋めるHPC-GPTの可能性について検討した。
  論文  参考訳（メタデータ） (2023-10-03T01:34:55Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• HPC-Coder: Modeling Parallel Programs using Large Language Models [2.3101915391170573]
  ハイパフォーマンスおよび科学的コードに特有のタスクに、いかに大きな言語モデルを適用することができるかを示す。 我々は、HPCと科学コードの新しいデータセットを導入し、それをいくつかの事前訓練されたモデルを微調整するために使用します。 本研究では,汎用モデルでは不可能なHPC関数を自動補完できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T19:44:55Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Quantitatively Assessing the Benefits of Model-driven Development in Agent-based Modeling and Simulation [80.49040344355431]
  本稿では,MDD とABMS プラットフォームの利用状況と開発ミスについて比較する。 その結果、MDD4ABMSはNetLogoと類似した設計品質のシミュレーションを開発するのに、より少ない労力を必要とすることがわかった。
  論文  参考訳（メタデータ） (2020-06-15T23:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。