論文の概要: The Landscape and Challenges of HPC Research and LLMs

• arxiv url: http://arxiv.org/abs/2402.02018v2
• Date: Tue, 6 Feb 2024 15:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 11:24:02.104332
• Title: The Landscape and Challenges of HPC Research and LLMs
• Title（参考訳）: HPC研究とLLMの展望と課題
• Authors: Le Chen, Nesreen K. Ahmed, Akash Dutta, Arijit Bhattacharjee, Sixing Yu, Quazi Ishtiaque Mahmud, Waqwoya Abebe, Hung Phan, Aishwarya Sarkar, Branden Butler, Niranjan Hasabnis, Gal Oren, Vy A. Vo, Juan Pablo Munoz, Theodore L. Willke, Tim Mattson, Ali Jannesari
• Abstract要約: 大規模言語モデル(LLM)はディープラーニングの分野に革命をもたらした。 エンコーダデコーダモデルとプロンプトベースのテクニックは、自然言語処理とコードベースのタスクにとって大きな可能性を示している。
• 参考スコア（独自算出の注目度）: 12.57518012358534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, language models (LMs), especially large language models (LLMs), have revolutionized the field of deep learning. Both encoder-decoder models and prompt-based techniques have shown immense potential for natural language processing and code-based tasks. Over the past several years, many research labs and institutions have invested heavily in high-performance computing, approaching or breaching exascale performance levels. In this paper, we posit that adapting and utilizing such language model-based techniques for tasks in high-performance computing (HPC) would be very beneficial. This study presents our reasoning behind the aforementioned position and highlights how existing ideas can be improved and adapted for HPC tasks.
• Abstract（参考訳）: 近年,言語モデル(LM),特に大規模言語モデル(LLM)がディープラーニングの分野に革命をもたらした。 エンコーダデコーダモデルとプロンプトベースの技術の両方が、自然言語処理やコードベースのタスクにおいて大きな可能性を示している。 過去数年間、多くの研究所や機関が高性能コンピューティングに多大な投資を行ってきた。 本稿では,そのような言語モデルに基づく手法をハイパフォーマンスコンピューティング(hpc)におけるタスクに適用・活用することは,非常に有益であることを示す。 本研究は、上記の立場の背後にある推論を示し、既存のアイデアがどのようにしてhpcタスクに適応できるかを強調する。

関連論文リスト

• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Large Language Models in Computer Science Education: A Systematic Literature Review [7.240148550817106]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスク(NLP)において、ますます良くなっている。 最近、これらのモデルは、自然言語(NL)とプログラミング言語(PL)のギャップを埋めて、その能力をコーディングタスクに拡張した。
  論文  参考訳（メタデータ） (2024-10-21T17:49:50Z)
• A Survey: Collaborative Hardware and Software Design in the Era of Large Language Models [16.250856588632637]
  大規模言語モデル(LLM)の急速な発展は、人工知能の分野を大きく変えた。 これらのモデルは多様なアプリケーションに統合され、研究と産業の両方に影響を及ぼす。 本稿では,大規模言語モデルの特徴と制約に対処するために,ハードウェアとソフトウェアの共同設計手法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T21:46:52Z)
• Are LLMs Any Good for High-Level Synthesis? [1.3927943269211591]
  大規模言語モデル(LLM)は、高レベル合成(HLS)プロセスの合理化や置き換えが可能である。 LLMは自然言語の仕様を理解し、Cコードや自然言語の仕様を翻訳することができる。 本研究の目的は、AIアクセラレーション、組み込みシステム、高性能コンピューティングなどのアプリケーションにおいて、最適化されたハードウェア設計のための将来的な方向性を特定することである。
  論文  参考訳（メタデータ） (2024-08-19T21:40:28Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• HPC-Coder: Modeling Parallel Programs using Large Language Models [2.3101915391170573]
  ハイパフォーマンスおよび科学的コードに特有のタスクに、いかに大きな言語モデルを適用することができるかを示す。 我々は、HPCと科学コードの新しいデータセットを導入し、それをいくつかの事前訓練されたモデルを微調整するために使用します。 本研究では,汎用モデルでは不可能なHPC関数を自動補完できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T19:44:55Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。