論文の概要: An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry

• arxiv url: http://arxiv.org/abs/2303.02552v1
• Date: Sun, 5 Mar 2023 02:28:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 19:00:26.785094
• Title: An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry
• Title（参考訳）: 顔深層学習モデル登録における事前学習モデル再利用の実証的研究
• Authors: Wenxin Jiang, Nicholas Synovic, Matt Hyatt, Taylor R. Schorlemmer, Rohan Sethi, Yung-Hsiang Lu, George K. Thiruvathukal, James C. Davis
• Abstract要約: 機械学習エンジニアが大規模事前学習モデル(PTM)の再利用を開始 私たちは、最も人気のあるPTMエコシステムであるHugging Faceの実践者12人にインタビューして、PTM再利用のプラクティスと課題を学びました。 PTM再利用の3つの課題は、属性の欠如、クレームと実際のパフォーマンスの相違、モデルリスクである。
• 参考スコア（独自算出の注目度）: 2.1346819928536687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) are being adopted as components in software systems. Creating and specializing DNNs from scratch has grown increasingly difficult as state-of-the-art architectures grow more complex. Following the path of traditional software engineering, machine learning engineers have begun to reuse large-scale pre-trained models (PTMs) and fine-tune these models for downstream tasks. Prior works have studied reuse practices for traditional software packages to guide software engineers towards better package maintenance and dependency management. We lack a similar foundation of knowledge to guide behaviors in pre-trained model ecosystems. In this work, we present the first empirical investigation of PTM reuse. We interviewed 12 practitioners from the most popular PTM ecosystem, Hugging Face, to learn the practices and challenges of PTM reuse. From this data, we model the decision-making process for PTM reuse. Based on the identified practices, we describe useful attributes for model reuse, including provenance, reproducibility, and portability. Three challenges for PTM reuse are missing attributes, discrepancies between claimed and actual performance, and model risks. We substantiate these identified challenges with systematic measurements in the Hugging Face ecosystem. Our work informs future directions on optimizing deep learning ecosystems by automated measuring useful attributes and potential attacks, and envision future research on infrastructure and standardization for model registries.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、ソフトウェアシステムのコンポーネントとして採用されている。 最先端のアーキテクチャが複雑化するにつれ、DNNをゼロから作成・専門化するのがますます難しくなっている。 従来のソフトウェアエンジニアリングの道をたどった機械学習エンジニアは、大規模な事前学習モデル(ptm)を再利用し、これらのモデルを下流タスクに微調整し始めた。 従来のソフトウェアパッケージの再利用プラクティスを研究し、ソフトウェア技術者をより良いパッケージメンテナンスと依存性管理へと導く。 事前訓練されたモデルエコシステムの振る舞いを導くための知識の基盤が欠けています。 本研究は,ptmの再利用に関する最初の実証実験である。 私たちは、最も人気のあるPTMエコシステムであるHugging Faceの実践者12人にインタビューして、PTM再利用のプラクティスと課題を学びました。 このデータから, PTM再利用の意思決定過程をモデル化する。 特定されたプラクティスに基づいて,プロヴァンス,再現性,可搬性など,モデルの再利用に有用な属性について述べる。 PTM再利用の3つの課題は、属性の欠如、クレームと実際のパフォーマンスの相違、モデルリスクである。 我々は,これらの課題をHugging Faceエコシステムの体系的な測定で検証した。 我々の研究は、有用な属性と潜在的な攻撃を自動測定することで、ディープラーニングエコシステムの最適化に関する今後の方向性を知らせるとともに、モデルレジストリのインフラストラクチャと標準化に関する将来の研究を展望する。

関連論文リスト

• PeaTMOSS: Mining Pre-Trained Models in Open-Source Software [6.243303627949341]
  PeaTMOSSデータセットを提示する。 オープンソースソフトウェアにおける事前学習モデル。 PeaTMOSSには3つの部分がある: スナップショットは281,638 PTM、 (2) PTMを使用するオープンソースソフトウェアリポジトリ27,270、(3) PTMとそれを使用するプロジェクトの間のマッピング。
  論文  参考訳（メタデータ） (2023-10-05T15:58:45Z)
• Naming Practices of Pre-Trained Models in Hugging Face [4.956536094440504]
  PTM(Pre-Trained Models)は、コンピュータシステムにおいて、デプロイ前に品質や性能に適応するために使用される。 エンジニアはデプロイメント前に品質やパフォーマンスに適応する。 以前の調査では、モデル名は必ずしも適切に選択されている訳ではなく、時に誤っている、と報告されていた。 本稿では,Hugging Face PTMレジストリにおいて,PTM命名の実践に関する実証的研究を行った。
  論文  参考訳（メタデータ） (2023-10-02T21:13:32Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
  マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。 本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・ 次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
  論文  参考訳（メタデータ） (2023-02-20T15:34:03Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• A Model-Driven Engineering Approach to Machine Learning and Software Modeling [0.5156484100374059]
  モデルは、ソフトウェア工学(SE)と人工知能(AI)のコミュニティで使われている。 主な焦点はIoT(Internet of Things)とCPS(Smart Cyber-Physical Systems)のユースケースである。
  論文  参考訳（メタデータ） (2021-07-06T15:50:50Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)
• Do we need to go Deep? Knowledge Tracing with Big Data [5.218882272051637]
  教育分野で公開されている最大の学生インタラクションデータセットであるEdNetを使用して、深層モデルと従来のモデルの両方が将来の学生のパフォーマンスを正確に予測する方法を理解しています。 我々の研究は、慎重に設計された特徴を持つロジスティック回帰モデルが広範な実験から深いモデルよりも優れていることを観察する。
  論文  参考訳（メタデータ） (2021-01-20T22:40:38Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。