論文の概要: Software engineering for deep learning applications: usage of SWEng and MLops tools in GitHub repositories

• arxiv url: http://arxiv.org/abs/2310.19124v1
• Date: Sun, 29 Oct 2023 19:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 14:10:25.698238
• Title: Software engineering for deep learning applications: usage of SWEng and MLops tools in GitHub repositories
• Title（参考訳）: ディープラーニングアプリケーションのためのソフトウェアエンジニアリング:GitHubリポジトリにおけるSWEngとMLopsツールの使用
• Authors: Evangelia Panourgia (Athens University of Economics and Business), Theodoros Plessas (Athens University of Economics and Business), Diomidis Spinellis (Athens University of Economics and Business, Delft University of Technology)
• Abstract要約: 我々は、Pythonをメインプログラミング言語として使用する一般的なDLプロジェクトで採用されている、従来のMLOpsツールとMLOpsツールを識別する。 マイニングされたGitHubリポジトリの約70%には、少なくとも1つの従来のSEツールが含まれていた。 これらのツールの1つであるBoardは、私たちの研究のリポジトリの約半分で採用されていることが分かりました。
• 参考スコア（独自算出の注目度）: 0.35342120781147623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rising popularity of deep learning (DL) methods and techniques has invigorated interest in the topic of SE4DL, the application of software engineering (SE) practices on deep learning software. Despite the novel engineering challenges brought on by the data-driven and non-deterministic paradigm of DL software, little work has been invested into developing AI-targeted SE tools. On the other hand, tools tackling more general engineering issues in DL are actively used and referred to under the umbrella term of ``MLOps tools''. Furthermore, the available literature supports the utility of conventional SE tooling in DL software development. Building upon previous MSR research on tool usage in open-source software works, we identify conventional and MLOps tools adopted in popular applied DL projects that use Python as the main programming language. About 70% of the GitHub repositories mined contained at least one conventional SE tool. Software configuration management tools are the most adopted, while the opposite applies to maintenance tools. Substantially fewer MLOps tools were in use, with only 9 tools out of a sample of 80 used in at least one repository. The majority of them were open-source rather than proprietary. One of these tools, TensorBoard, was found to be adopted in about half of the repositories in our study. Consequently, the use of conventional SE tooling demonstrates its relevance to DL software. Further research is recommended on the adoption of MLOps tooling by open-source projects, focusing on the relevance of particular tool types, the development of required tools, as well as ways to promote the use of already available tools.
• Abstract（参考訳）: ディープラーニング(DL)メソッドやテクニックの普及は,ソフトウェア工学(SE)プラクティスをディープラーニングソフトウェアに適用するSE4DLというトピックに関心を喚起している。 dlソフトウェアのデータ駆動および非決定論的パラダイムによってもたらされた斬新なエンジニアリング上の課題にもかかわらず、aiをターゲットとしたseツールの開発にはほとんど投資されていない。 一方、DLのより一般的なエンジニアリング問題に取り組むツールは、'MLOps tools'という包括的用語で積極的に使われ、参照されている。 さらに、利用可能な文献は、dlソフトウェア開発における従来のseツールの有用性をサポートする。 オープンソースソフトウェアにおけるツール使用に関する以前のMSR研究に基づいて、Pythonを主要なプログラミング言語として使用する一般的なDLプロジェクトで採用されている従来のMLOpsツールとMLOpsツールを特定した。 GitHubリポジトリの約70%は、少なくとも1つの従来のSEツールを含んでいた。 ソフトウェア構成管理ツールは最も採用されているが、メンテナンスツールには反対である。 少なくとも1つのリポジトリで使用されている80のサンプルのうち、9つのツールしか使用されていない。 その多くはプロプライエタリではなくオープンソースだった。 これらのツールの1つであるTensorBoardは、我々の研究で約半数のリポジトリで採用されていることが判明した。 その結果,従来のSEツールの使用はDLソフトウェアとの関連性を示している。 オープンソースプロジェクトによるmlopsツールの採用に関するさらなる研究が推奨されており、特定のツールタイプ、必要なツールの開発、および既に利用可能なツールの使用を促進する方法に焦点を当てている。

関連論文リスト

• PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
  大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。 PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。 LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
  論文  参考訳（メタデータ） (2024-11-14T17:33:36Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [82.24774504584066]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。