論文の概要: What do we know about Hugging Face? A systematic literature review and quantitative validation of qualitative claims

• arxiv url: http://arxiv.org/abs/2406.08205v2
• Date: Tue, 3 Sep 2024 20:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 02:31:44.670413
• Title: What do we know about Hugging Face? A systematic literature review and quantitative validation of qualitative claims
• Title（参考訳）: ハギングフェイスについて何を知っているか : 体系的な文献レビューと質的クレームの定量的検証
• Authors: Jason Jones, Wenxin Jiang, Nicholas Synovic, George K. Thiruvathukal, James C. Davis,
• Abstract要約: コラボレーションソフトウェアパッケージレジストリ(SPR)は、ソフトウェアサプライチェーンの不可欠な部分である。 事前訓練モデル(PTM)登録は、重要度が増大するSPRの新たなクラスである。
• 参考スコア（独自算出の注目度）: 3.650036055679904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Collaborative Software Package Registries (SPRs) are an integral part of the software supply chain. Much engineering work synthesizes SPR package into applications. Prior research has examined SPRs for traditional software, such as NPM (JavaScript) and PyPI (Python). Pre-Trained Model (PTM) Registries are an emerging class of SPR of increasing importance, because they support the deep learning supply chain. Aims: Recent empirical research has examined PTM registries in ways such as vulnerabilities, reuse processes, and evolution. However, no existing research synthesizes them to provide a systematic understanding of the current knowledge. Some of the existing research includes qualitative claims lacking quantitative analysis. Our research fills these gaps by providing a knowledge synthesis and quantitative analyses. Methods: We first conduct a systematic literature review (SLR). We then observe that some of the claims are qualitative. We identify quantifiable metrics associated with those claims, and measure in order to substantiate these claims. Results: From our SLR, we identify 12 claims about PTM reuse on the HuggingFace platform, 4 of which lack quantitative validation. We successfully test 3 of these claims through a quantitative analysis, and directly compare one with traditional software. Our findings corroborate qualitative claims with quantitative measurements. Our findings are: (1) PTMs have a much higher turnover rate than traditional software, indicating a dynamic and rapidly evolving reuse environment within the PTM ecosystem; and (2) There is a strong correlation between documentation quality and PTM popularity. Conclusions: We confirm qualitative research claims with concrete metrics, supporting prior qualitative and case study research. Our measures show further dynamics of PTM reuse, inspiring research infrastructure and new measures.
• Abstract（参考訳）: 背景:SPR(Collaborative Software Package Registries)はソフトウェアサプライチェーンの不可欠な部分です。 多くのエンジニアリング作業はSPRパッケージをアプリケーションに合成する。 これまでの研究では、NPM(JavaScript)やPyPI(Python)といった従来のソフトウェア向けのSPRを調査してきた。 事前学習モデル(PTM)登録は、深層学習サプライチェーンをサポートするため、重要度の高いSPRの新たなクラスである。 Aims: 最近の実証研究は、脆弱性、再利用プロセス、進化などの方法で、PTMレジストリを調査しています。 しかし、現在の知識を体系的に理解するために、既存の研究がそれらを合成することはない。 現存する研究のいくつかは、定量分析を欠いた定性的な主張を含んでいる。 我々の研究は、知識合成と定量的分析を提供することで、これらのギャップを埋める。 方法:まず,系統的な文献レビュー(SLR)を行う。 そして、いくつかの主張が質的なものであることを観察する。 これらのクレームに関連する定量メトリクスを特定し、これらのクレームを裏付けるために測定する。 結果: 当社のSLRでは,HuggingFaceプラットフォーム上でのPTM再利用に関する12の主張を特定しました。 これらの主張のうち3つを定量的解析によって検証し、それらを従来のソフトウェアと直接比較することに成功した。 定量的な測定で定性的クレームを裏付ける結果が得られた。 その結果, (1) PTM は従来のソフトウェアよりもはるかに高いターンオーバー率を示し, PTM エコシステム内の動的かつ急速に進化する再利用環境を示し, (2) ドキュメントの品質と PTM の人気との間には強い相関関係があることがわかった。 結論: 定性研究の主張を具体的な指標で確認し, 定性研究とケーススタディ研究の先行支援を行う。 提案手法は, PTM の再利用, 研究インフラの活性化, 新たな対策のさらなるダイナミクスを示すものである。

関連論文リスト

• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [85.51252685938564]
  不確実性定量化(UQ)は、機械学習(ML)に依存するアプリケーションの重要なコンポーネントとして、ますます認識されつつある。 他のMLモデルと同様に、大きな言語モデル(LLM)は、クレームを作成することによって誤った予測をする傾向があり、あるいは与えられた入力に対して単に低品質の出力を生成する。 本稿では,最先端のUQベースラインの集合を実装した新しいベンチマークを提案し,新しいテクニックを制御可能かつ一貫した評価を行う環境を提供する。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• NovoBench: Benchmarking Deep Learning-based De Novo Peptide Sequencing Methods in Proteomics [58.03989832372747]
  Emphde novoペプチドシークエンシングのための初となるNovoBenchベンチマークを報告する。 多様な質量スペクトルデータ、統合モデル、総合的な評価指標から構成される。 DeepNovo、PointNovo、Casanovo、InstaNovo、AdaNovo、$pi$-HelixNovoといった最近の手法が私たちのフレームワークに統合されています。
  論文  参考訳（メタデータ） (2024-06-16T08:23:21Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• System for systematic literature review using multiple AI agents: Concept and an empirical evaluation [5.194208843843004]
  本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。 このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。 関連する学術論文を検索するために使用される検索文字列を生成する。 モデルはこれらの論文の要約を自律的に要約する。
  論文  参考訳（メタデータ） (2024-03-13T10:27:52Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• RethinkingTMSC: An Empirical Study for Target-Oriented Multimodal Sentiment Classification [70.9087014537896]
  目的指向型マルチモーダル感性分類(TMSC)は,学者の間でも注目されている。 この問題の原因を明らかにするために,データセットの広範な実験的評価と詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-10-14T14:52:37Z)
• deep-significance - Easy and Meaningful Statistical Significance Testing in the Age of Neural Networks [7.3372471678239215]
  異なる重要なテストとユーティリティ機能を含む使い易いパッケージを提供する。 このパッケージは研究ニーズとユーザビリティに特化している。
  論文  参考訳（メタデータ） (2022-04-14T08:24:37Z)
• Evaluating Pre-Trained Models for User Feedback Analysis in Software Engineering: A Study on Classification of App-Reviews [2.66512000865131]
  アプリレビュー分類のための事前学習型ニューラルネットワークモデル(PTM)の精度と時間効率について検討した。 複数の設定でPTMを評価するために,異なる研究をセットアップした。 いずれの場合も、MicroとMacro Precision、Recall、F1スコアが使用されます。
  論文  参考訳（メタデータ） (2021-04-12T23:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。