論文の概要: Good Tools are Half the Work: Tool Usage in Deep Learning Projects

• arxiv url: http://arxiv.org/abs/2310.19124v2
• Date: Tue, 28 May 2024 16:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 04:17:08.413717
• Title: Good Tools are Half the Work: Tool Usage in Deep Learning Projects
• Title（参考訳）: 良いツールが作業の半分になる - ディープラーニングプロジェクトにおけるツールの使用
• Authors: Evangelia Panourgia, Theodoros Plessas, Ilias Balampanis, Diomidis Spinellis,
• Abstract要約: SE4DL(Software Engineering for Deep Learning)への関心が高まっている。 調査したGitHubリポジトリの約63%には、少なくとも1つの従来のSEツールが含まれていました。 ソフトウェア構築ツールは最も広く採用されていますが、その逆は管理ツールやメンテナンスツールにも当てはまります。
• 参考スコア（独自算出の注目度）: 5.966029067108828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rising popularity of deep learning (DL) methods and techniques has invigorated interest in the topic of SE4DL (Software Engineering for Deep Learning), the application of software engineering (SE) practices on deep learning software. Despite the novel engineering challenges brought on by the data-driven and non-deterministic paradigm of DL software, little work has been invested into developing DL-targeted SE tools. On the other hand, tools tackling non-SE issues specific to DL are actively used and referred to under the umbrella term "MLOps (Machine Learning Operations) tools". Nevertheless, the available literature supports the utility of conventional SE tooling in DL software development. Building upon previous mining software repositories (MSR) research on tool usage in open-source software works, we identify conventional and MLOps tools adopted in popular applied DL projects that use Python as the main programming language. About 63\% of the GitHub repositories we examined contained at least one conventional SE tool. Software construction tools are the most widely adopted, while the opposite applies to management and maintenance tools. Relatively few MLOps tools were found to be use, with only 20 tools out of a sample of 74 used in at least one repository. The majority of them were open-source rather than proprietary. One of these tools, TensorBoard, was found to be adopted in about half of the repositories in our study. Consequently, the widespread use of conventional SE tooling demonstrates its relevance to DL software. Further research is recommended on the adoption of MLOps tooling, focusing on the relevance of particular tool types, the development of required tools, as well as ways to promote the use of already available tools.
• Abstract（参考訳）: ディープラーニング(DL)メソッドやテクニックの普及は、ディープラーニングソフトウェアへのソフトウェアエンジニアリング(SE)プラクティスの適用である、SE4DL(Software Engineering for Deep Learning)というトピックへの関心を高めている。 DLソフトウェアのデータ駆動型および非決定論的パラダイムによってもたらされる新しいエンジニアリング課題にもかかわらず、DLターゲットのSEツールの開発にはほとんど注がれていない。 一方、DL固有の非SE問題に対処するツールを積極的に使用し、「MLOps(Machine Learning Operations)ツール」という包括的な用語で参照する。 それでも、利用可能な文献は、DLソフトウェア開発における従来のSEツールの実用性をサポートしている。 オープンソースソフトウェア作業におけるツール使用に関するこれまでのマイニングソフトウェアリポジトリ(MSR)調査に基づいて、Pythonを主要なプログラミング言語として使用する一般的なDLプロジェクトで採用されている従来のMLOpsツールとMLOpsツールを特定した。 調査したGitHubリポジトリの約63%には、少なくとも1つの従来のSEツールが含まれていました。 ソフトウェア構築ツールは最も広く採用されていますが、その逆は管理ツールやメンテナンスツールにも当てはまります。 少なくとも1つのリポジトリで使用されている74のサンプルのうち、20のツールしか使用されていない。 その多くはプロプライエタリではなくオープンソースである。 これらのツールの1つであるTensorBoardは、我々の研究で約半数のリポジトリで採用されていることが判明した。 その結果,従来のSEツールの普及がDLソフトウェアとの関連性を示している。 MLOpsツールの採用、特定のツールタイプとの関連性、必要なツールの開発、すでに利用可能なツールの使用を促進する方法などについて、さらなる研究が推奨されている。

関連論文リスト

• PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
  大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。 PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。 LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
  論文  参考訳（メタデータ） (2024-11-14T17:33:36Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [82.24774504584066]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。