論文の概要: An Empirical Study of Library Usage and Dependency in Deep Learning Frameworks

• arxiv url: http://arxiv.org/abs/2211.15733v1
• Date: Mon, 28 Nov 2022 19:31:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 17:06:50.331642
• Title: An Empirical Study of Library Usage and Dependency in Deep Learning Frameworks
• Title（参考訳）: ディープラーニングフレームワークにおけるライブラリの利用と依存に関する実証的研究
• Authors: Mohamed Raed El aoun, Lionel Nganyewou Tidjon, Ben Rombaut, Foutse Khomh, Ahmed E. Hassan
• Abstract要約: ピトルチ、カフェ、シキットルンはプロジェクトの18%と14%で最も頻度の高い組み合わせである。 開発者は同じプロジェクトで2つか3つのdlライブラリを使用し、同じ関数と同じファイルの両方で異なる複数のdlライブラリを使用する傾向がある。
• 参考スコア（独自算出の注目度）: 12.624032509149869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep learning (dl) have led to the release of several dl software libraries such as pytorch, Caffe, and TensorFlow, in order to assist machine learning (ml) practitioners in developing and deploying state-of-the-art deep neural networks (DNN), but they are not able to properly cope with limitations in the dl libraries such as testing or data processing. In this paper, we present a qualitative and quantitative analysis of the most frequent dl libraries combination, the distribution of dl library dependencies across the ml workflow, and formulate a set of recommendations to (i) hardware builders for more optimized accelerators and (ii) library builder for more refined future releases. Our study is based on 1,484 open-source dl projects with 46,110 contributors selected based on their reputation. First, we found an increasing trend in the usage of deep learning libraries. Second, we highlight several usage patterns of deep learning libraries. In addition, we identify dependencies between dl libraries and the most frequent combination where we discover that pytorch and Scikit-learn and, Keras and TensorFlow are the most frequent combination in 18% and 14% of the projects. The developer uses two or three dl libraries in the same projects and tends to use different multiple dl libraries in both the same function and the same files. The developer shows patterns in using various deep-learning libraries and prefers simple functions with fewer arguments and straightforward goals. Finally, we present the implications of our findings for researchers, library maintainers, and hardware vendors.
• Abstract（参考訳）: ディープラーニング(dl)の最近の進歩は、最先端のディープニューラルネットワーク(DNN)の開発とデプロイにおいて機械学習(ml)実践者を支援するために、pytorch、Caffe、TensorFlowなどのいくつかのdlソフトウェアライブラリがリリースされたが、テストやデータ処理などのdlライブラリの制限に適切に対処することはできない。 本稿では、最も頻繁なdlライブラリの組み合わせの質的かつ定量的な分析、mlワークフロー全体にわたるdlライブラリ依存性の分布、および一連のレコメンデーションの定式化について述べる。 (i)より最適化されたアクセラレーターのためのハードウェアビルダー (ii) より洗練された将来のリリースのためのライブラリビルダー。 本研究は1,484のオープンソースdlプロジェクトに基づいており,46,110人のコントリビューターが評価に基づいて選出されている。 まず,深層学習ライブラリの利用が増加傾向にあった。 第2に,ディープラーニングライブラリの利用パターンをいくつか紹介する。 さらに、dlライブラリと最も頻繁なコンビネーション間の依存関係を特定し、pytorchとscikit-learn、kerasとtensorflowが18%と14%のプロジェクトでもっとも頻繁なコンビネーションであることが分かりました。 開発者は同じプロジェクトで2、3のdlライブラリを使用し、同じ関数と同じファイルの両方で異なる複数のdlライブラリを使用する傾向がある。 開発者は、さまざまなディープラーニングライブラリの使用パターンを示し、より少ない引数と直接的な目標を持つ単純な関数を好む。 最後に, 研究者, ライブラリメンテナ, ハードウェアベンダに対して, 調査結果の意義について述べる。

関連論文リスト

• Library Learning Doesn't: The Curious Case of the Single-Use "Library" [20.25809428140996]
  LEGO-ProverとTroVEの2つのライブラリ学習システムについて検討した。 機能再利用は miniF2F と MATH では極めて稀である。 我々の追跡実験は、再利用よりも自己補正と自己整合が、観察されたパフォーマンス向上の主要な要因であることを示唆している。
  論文  参考訳（メタデータ） (2024-10-26T21:05:08Z)
• DLLens: Testing Deep Learning Libraries via LLM-aided Synthesis [8.779035160734523]
  テストは、ディープラーニング(DL)ライブラリの品質を保証するための主要なアプローチである。 既存のテスト技術では、テストオラクルの構築を緩和するために差分テストを採用するのが一般的である。 本稿では,DLライブラリテストのための新しい差分試験手法であるシーレンスを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T07:06:38Z)
• EduNLP: Towards a Unified and Modularized Library for Educational Resources [78.8523961816045]
  我々はEduNLPという,統一された,モジュール化された,広範なライブラリを紹介し,教育資源の理解に焦点をあてる。 このライブラリでは、ワークフロー全体を4つのキーモジュールに分離し、データ構成、処理、モデル実装、モデル評価など、一貫したインターフェースを提供します。 現在のバージョンでは、主に4つのカテゴリから10の典型的なモデルを提供し、教育領域における5つのダウンストリーム評価タスクを、ユーザの使用に対して8つの被験者に提供します。
  論文  参考訳（メタデータ） (2024-06-03T12:45:40Z)
• torchgfn: A PyTorch GFlowNet library [56.071033896777784]
  torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。 環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
  論文  参考訳（メタデータ） (2023-05-24T00:20:59Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)
• Code Librarian: A Software Package Recommendation System [65.05559087332347]
  オープンソースライブラリ用のリコメンデーションエンジンであるLibrarianを提示する。 1)プログラムのインポートライブラリで頻繁に使用されること、2)プログラムのインポートライブラリと似た機能を持つこと、3)開発者の実装と似た機能を持つこと、4)提供されるコードのコンテキストで効率的に使用できること、である。
  論文  参考訳（メタデータ） (2022-10-11T12:30:05Z)
• Do Not Take It for Granted: Comparing Open-Source Libraries for Software Development Effort Estimation [9.224578642189023]
  本稿では、ソフトウェア開発努力推定(SEE)に異なる機械学習(ML)ライブラリを使用する場合の差異に対する意識を高めることを目的とする。 各種言語(Scikit-Learn, Caret, Weka)で書かれた最も人気のあるMLオープンソースライブラリの3つで提供される決定論的機械学習について検討する。 本研究の結果,3つの図書館で提供される予測は,平均95%のケースで,合計105ケースで異なることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T20:06:40Z)
• Benchmark Assessment for DeepSpeed Optimization Library [1.7839986996686321]
  ディープラーニング(DL)モデルは、そのパフォーマンスと大規模なデータセットを扱う能力のために、機械学習で広く使用されている。 このようなデータセットのサイズとDLモデルの複雑さは、そのようなモデルが複雑になり、大量のリソースとトレーニング時間を消費する。 最近のライブラリやアプリケーションは、DLの複雑さと効率の問題に対処するために導入されている。
  論文  参考訳（メタデータ） (2022-02-12T04:52:28Z)
• LibFewShot: A Comprehensive Library for Few-shot Learning [78.58842209282724]
  近年,画像分類に注目が集まり,近年顕著な進歩が見られた。 近年の研究では、データ強化、事前学習、知識蒸留、自己超越といった多くの一般的な手法や技法が、数発の学習法の性能を大幅に向上させる可能性があることが暗黙的に示されている。 そこで本研究では,PyTorchに固有の単一言語を組み込んだ一貫したフレームワークにおいて,17の最先端の複数ショット学習手法を再実装することにより,小ショット学習のための総合ライブラリ(LibFewShot)を提案する。
  論文  参考訳（メタデータ） (2021-09-10T14:12:37Z)
• Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning [83.02597612195966]
  solo-learnは視覚表現学習のための自己指導型のメソッドのライブラリである。 Pythonで実装され、PytorchとPytorch Lightningを使用して、このライブラリは研究と業界のニーズの両方に適合する。
  論文  参考訳（メタデータ） (2021-08-03T22:19:55Z)
• Req2Lib: A Semantic Neural Model for Software Library Recommendation [8.713783358744166]
  我々はReq2Libと呼ばれる新しいニューラルアプローチを提案し、プロジェクトの要件を記述したライブラリを推奨する。 本研究では,自然言語における要求記述の関連情報と意味情報の学習にシーケンス・ツー・シーケンスモデルを用いる。 我々の予備評価は、Req2Libがライブラリを正確に推奨できることを示しています。
  論文  参考訳（メタデータ） (2020-05-24T14:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。