論文の概要: Large Language Models to the Rescue: Reducing the Complexity in Scientific Workflow Development Using ChatGPT

• arxiv url: http://arxiv.org/abs/2311.01825v2
• Date: Mon, 6 Nov 2023 11:43:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 11:20:33.143700
• Title: Large Language Models to the Rescue: Reducing the Complexity in Scientific Workflow Development Using ChatGPT
• Title（参考訳）: 大規模言語モデルによる救助: chatgptを用いた科学的ワークフロー開発における複雑さの低減
• Authors: Mario S\"anger, Ninon De Mecquenem, Katarzyna Ewa Lewi\'nska, Vasilis Bountris, Fabian Lehmann, Ulf Leser, Thomas Kosch
• Abstract要約: 科学システムは、大規模なデータセット上で複雑なデータ分析パイプラインを表現および実行するためにますます人気がある。 しかし、多くのブラックボックスツールと実行に必要な深いインフラストラクチャスタックが関与しているため、実装は難しい。 本研究では,大規模言語モデル,特にChatGPTの効率性を検討した。
• 参考スコア（独自算出の注目度）: 11.410608233274942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific workflow systems are increasingly popular for expressing and executing complex data analysis pipelines over large datasets, as they offer reproducibility, dependability, and scalability of analyses by automatic parallelization on large compute clusters. However, implementing workflows is difficult due to the involvement of many black-box tools and the deep infrastructure stack necessary for their execution. Simultaneously, user-supporting tools are rare, and the number of available examples is much lower than in classical programming languages. To address these challenges, we investigate the efficiency of Large Language Models (LLMs), specifically ChatGPT, to support users when dealing with scientific workflows. We performed three user studies in two scientific domains to evaluate ChatGPT for comprehending, adapting, and extending workflows. Our results indicate that LLMs efficiently interpret workflows but achieve lower performance for exchanging components or purposeful workflow extensions. We characterize their limitations in these challenging scenarios and suggest future research directions.
• Abstract（参考訳）: 科学ワークフローシステムは、大規模な計算クラスタ上での自動並列化による分析の再現性、信頼性、スケーラビリティを提供するため、大規模なデータセット上で複雑なデータ分析パイプラインを表現および実行するためにますます人気がある。 しかし、多くのブラックボックスツールと実行に必要な深いインフラストラクチャスタックが関与しているため、ワークフローの実装は難しい。 同時に、ユーザサポートツールはまれであり、利用可能なサンプルの数は、古典的なプログラミング言語よりもはるかに少ない。 これらの課題に対処するために,我々は,大規模言語モデル(llm,特にchatgpt)の効率を,科学的なワークフローを扱うユーザを支援するために調査する。 2つの科学領域で3つのユーザスタディを行い、ワークフローの理解、適応、拡張のためのChatGPTを評価した。 その結果,LLMは効率よくワークフローを解釈するが,コンポーネントの交換やワークフロー拡張のための性能は低下することがわかった。 これらのシナリオにおいて,これらの制限を特徴付け,今後の研究方向性を提案する。

関連論文リスト

• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance [0.32985979395737774]
  金融を含むドメイン固有の文脈における大規模言語モデル(LLM)の適用について検討する。 ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略であるとは限らない。 代わりに、マルチタスクの微調整はパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-01T22:35:56Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Reusability Challenges of Scientific Workflows: A Case Study for Galaxy [56.78572674167333]
  本研究では,既存の再使用可能性について検討し,いくつかの課題を明らかにした。 再利用性防止の課題には、ツールのアップグレード、ツールのサポート、設計上の欠陥、不完全性、ワークフローのロードの失敗などが含まれる。
  論文  参考訳（メタデータ） (2023-09-13T20:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。