論文の概要: "I see models being a whole other thing": An Empirical Study of Pre-Trained Model Naming Conventions and A Tool for Enhancing Naming Consistency
- arxiv url: http://arxiv.org/abs/2310.01642v3
- Date: Mon, 18 Aug 2025 22:56:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.271922
- Title: "I see models being a whole other thing": An Empirical Study of Pre-Trained Model Naming Conventions and A Tool for Enhancing Naming Consistency
- Title(参考訳): 「全く別のものを見る」--事前学習型モデル命名規約の実証的研究と命名一貫性を高めるためのツール
- Authors: Wenxin Jiang, Mingyu Kim, Chingwo Cheung, Heesoo Kim, George K. Thiruvathukal, James C. Davis,
- Abstract要約: 我々は,Hugging Face PTMレジストリにおいて,PTM命名の実践に関する実証的研究を行った。
DARAは, PTM命名の不整合を検出するために設計された最初の自動DNNARchitecture Assessment技術である。
- 参考スコア(独自算出の注目度): 4.956536094440504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As innovation in deep learning continues, many engineers are incorporating Pre-Trained Models (PTMs) as components in computer systems. Some PTMs are foundation models, and others are fine-tuned variations adapted to different needs. When these PTMs are named well, it facilitates model discovery and reuse. However, prior research has shown that model names are not always well chosen and can sometimes be inaccurate and misleading. The naming practices for PTM packages have not been systematically studied, which hampers engineers' ability to efficiently search for and reliably reuse these models. In this paper, we conduct the first empirical investigation of PTM naming practices in the Hugging Face PTM registry. We begin by reporting on a survey of 108 Hugging Face users, highlighting differences from traditional software package naming and presenting findings on PTM naming practices. The survey results indicate a mismatch between engineers' preferences and current practices in PTM naming. We then introduce DARA, the first automated DNN ARchitecture Assessment technique designed to detect PTM naming inconsistencies. Our results demonstrate that architectural information alone is sufficient to detect these inconsistencies, achieving an accuracy of 94% in identifying model types and promising performance (over 70%) in other architectural metadata as well. We also highlight potential use cases for automated naming tools, such as model validation, PTM metadata generation and verification, and plagiarism detection. Our study provides a foundation for automating naming inconsistency detection. Finally, we envision future work focusing on automated tools for standardizing package naming, improving model selection and reuse, and strengthening the security of the PTM supply chain.
- Abstract(参考訳): ディープラーニングのイノベーションが続くにつれて、多くのエンジニアがコンピュータシステムのコンポーネントとして事前学習モデル(PTM)を取り入れている。
いくつかのPTMは基礎モデルであり、別のものは異なるニーズに適応した微調整のバリエーションである。
これらの PTM がよく呼ばれると、モデル発見と再利用が容易になる。
しかし、以前の研究では、モデル名は必ずしも適切に選択されているわけではなく、時に不正確で誤解を招く可能性があることが示されている。
PTMパッケージの命名法は体系的に研究されておらず、エンジニアがこれらのモデルを効率的に探索し、確実に再利用する能力を損なう。
本稿では,Hugging Face PTMレジストリにおけるPTM命名の実践に関する実証的研究を行う。
まずHugging Faceのユーザ108名を対象に,従来のソフトウェアパッケージの命名との違いを強調し,PTMの命名プラクティスに関する調査結果を提示する。
調査の結果, PTM命名における技術者の好みと現在の実践とのミスマッチが示唆された。
次に、PTM命名の不整合を検出するために設計されたDNNARchitectureアセスメント技術であるDARAを紹介する。
以上の結果から,これらの不整合を検出するのに,アーキテクチャ情報だけで十分であることを示すとともに,モデルタイプの識別において94%の精度と,他のアーキテクチャメタデータにおいても有望なパフォーマンス(70%以上)を実現することができた。
また、モデル検証、PTMメタデータの生成と検証、盗作検出など、自動命名ツールの潜在的なユースケースについても強調する。
本研究は,命名不整合検出の自動化のための基盤を提供する。
最後に,パッケージの命名を標準化し,モデル選択と再利用を改善し,PTMサプライチェーンのセキュリティを強化する自動化ツールに焦点をあてる。
関連論文リスト
- How do Pre-Trained Models Support Software Engineering? An Empirical Study in Hugging Face [52.257764273141184]
オープンソースの事前訓練モデル(PTM)は、さまざまな機械学習(ML)タスクに広範なリソースを提供する。
これらのリソースには、ソフトウェア工学(SE)のニーズに合わせた分類がない。
私たちは147のSEタスクを含む分類法を導き、人気のあるオープンソースMLリポジトリであるHugging Face (HF)において、SE指向の分類をPTMに適用する。
PTMではコード生成が最も一般的なSEタスクであるのに対して、要件エンジニアリングとソフトウェア設計のアクティビティは限定的な注目を集めている。
論文 参考訳(メタデータ) (2025-06-03T15:51:17Z) - Towards a Classification of Open-Source ML Models and Datasets for Software Engineering [52.257764273141184]
オープンソースの事前訓練モデル(PTM)とデータセットは、さまざまな機械学習(ML)タスクに広範なリソースを提供する。
これらのリソースには、ソフトウェア工学(SE)のニーズに合わせた分類がない。
我々は、人気のあるオープンソースのMLリポジトリであるHugging Face (HF)上で、SE指向の分類をPTMとデータセットに適用し、時間とともにPTMの進化を分析する。
論文 参考訳(メタデータ) (2024-11-14T18:52:05Z) - Automated categorization of pre-trained models for software engineering: A case study with a Hugging Face dataset [9.218130273952383]
ソフトウェアエンジニアリング活動は、事前訓練されたモデル(PTM)の出現によって革新した。
Hugging Face (HF)プラットフォームは、いくつかのモデルを収集、保存、キュレーションすることで、PTMの使用を単純化する。
本稿では,SEタスクに対するPTMの自動分類を実現するためのアプローチを提案する。
論文 参考訳(メタデータ) (2024-05-21T20:26:17Z) - PeaTMOSS: Mining Pre-Trained Models in Open-Source Software [6.243303627949341]
PeaTMOSSデータセットを提示する。 オープンソースソフトウェアにおける事前学習モデル。
PeaTMOSSには3つの部分がある: スナップショットは281,638 PTM、 (2) PTMを使用するオープンソースソフトウェアリポジトリ27,270、(3) PTMとそれを使用するプロジェクトの間のマッピング。
論文 参考訳(メタデータ) (2023-10-05T15:58:45Z) - ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model
Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。
ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文 参考訳(メタデータ) (2023-08-17T19:12:13Z) - Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。
近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。
CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文 参考訳(メタデータ) (2023-03-13T17:59:02Z) - An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep
Learning Model Registry [2.1346819928536687]
機械学習エンジニアが大規模事前学習モデル(PTM)の再利用を開始
私たちは、最も人気のあるPTMエコシステムであるHugging Faceの実践者12人にインタビューして、PTM再利用のプラクティスと課題を学びました。
PTM再利用の3つの課題は、属性の欠如、クレームと実際のパフォーマンスの相違、モデルリスクである。
論文 参考訳(メタデータ) (2023-03-05T02:28:15Z) - Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting
Model Hubs [136.4492678691406]
本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。
最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。
チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
論文 参考訳(メタデータ) (2021-10-20T12:59:23Z) - Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。
知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。
AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文 参考訳(メタデータ) (2021-06-14T02:40:32Z) - Evaluating Pre-Trained Models for User Feedback Analysis in Software
Engineering: A Study on Classification of App-Reviews [2.66512000865131]
アプリレビュー分類のための事前学習型ニューラルネットワークモデル(PTM)の精度と時間効率について検討した。
複数の設定でPTMを評価するために,異なる研究をセットアップした。
いずれの場合も、MicroとMacro Precision、Recall、F1スコアが使用されます。
論文 参考訳(メタデータ) (2021-04-12T23:23:45Z) - Pre-trained Models for Natural Language Processing: A Survey [75.95500552357429]
事前学習モデル(PTM)の出現は、自然言語処理(NLP)を新しい時代にもたらした。
この調査は、様々なNLPタスクに対するPTMの理解、利用、開発のためのハンズオンガイドになることを目的としている。
論文 参考訳(メタデータ) (2020-03-18T15:22:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。