論文の概要: Challenges of Using Pre-trained Models: the Practitioners' Perspective

• arxiv url: http://arxiv.org/abs/2404.14710v2
• Date: Wed, 1 May 2024 04:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 17:45:32.767312
• Title: Challenges of Using Pre-trained Models: the Practitioners' Perspective
• Title（参考訳）: プレトレーニングモデル利用の課題--実践者の立場から
• Authors: Xin Tan, Taichuan Li, Ruohe Chen, Fang Liu, Li Zhang,
• Abstract要約: Stack OverflowにおけるPTM関連の質問の人気と難易度について分析する。 PTM関連の質問が徐々に人気になってきています。 この観察は, PTMの実用化に伴う難易度と難易度を強調した。
• 参考スコア（独自算出の注目度）: 16.042355796766124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenges associated with using pre-trained models (PTMs) have not been specifically investigated, which hampers their effective utilization. To address this knowledge gap, we collected and analyzed a dataset of 5,896 PTM-related questions on Stack Overflow. We first analyze the popularity and difficulty trends of PTM-related questions. We find that PTM-related questions are becoming more and more popular over time. However, it is noteworthy that PTM-related questions not only have a lower response rate but also exhibit a longer response time compared to many well-researched topics in software engineering. This observation emphasizes the significant difficulty and complexity associated with the practical application of PTMs. To delve into the specific challenges, we manually annotate 430 PTM-related questions, categorizing them into a hierarchical taxonomy of 42 codes (i.e., leaf nodes) and three categories. This taxonomy encompasses many PTM prominent challenges such as fine-tuning, output understanding, and prompt customization, which reflects the gaps between current techniques and practical needs. We discuss the implications of our study for PTM practitioners, vendors, and educators, and suggest possible directions and solutions for future research.
• Abstract（参考訳）: プレトレーニングモデル(PTM)の使用に関する課題は、その有効利用を阻害する、具体的には検討されていない。 この知識ギャップに対処するため、Stack Overflowで5,896のPTM関連質問のデータセットを収集し、分析した。 PTM関連質問の人気と難易度をまず分析する。 PTM関連の質問が徐々に人気になってきています。 しかしながら, PTM関連の質問は, 応答速度が低いだけでなく, ソフトウェア工学における多くのよく研究されているトピックと比較して, 応答時間が長いことも注目に値する。 この観察は, PTMの実用化に伴う難易度と難易度を強調した。 特定の課題を掘り下げるために、手動で430のPTM関連の質問を注釈付けし、42のコード(葉ノード)と3つのカテゴリの階層的な分類に分類した。 この分類学は、細調整、アウトプット理解、迅速なカスタマイズなど、多くのPTMの顕著な課題を包含しており、これは現在の技術と実践的ニーズのギャップを反映している。 我々は, PTM実践者, ベンダー, 教育者に対する研究の意味を考察し, 今後の研究の方向性と解決策を提案する。

関連論文リスト

• Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
  弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。 データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
  論文  参考訳（メタデータ） (2024-05-07T07:39:15Z)
• Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
  質問紙作成作業に特化して構築された最初のデータセットについて述べる。 我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。 チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
  論文  参考訳（メタデータ） (2024-02-22T04:14:10Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [77.66158066013924]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• Deep Learning Model Reuse in the HuggingFace Community: Challenges, Benefit and Trends [12.645960268553686]
  大規模事前学習モデル(PTM)の普及が進み、モデルハブやPTMをホストする専用のプラットフォームへの関心が高まっている。 本研究は, PTM の再利用に伴う課題とメリットの分類をコミュニティ内で提示する。 本研究は,初心者ユーザに対する限られたガイダンス,トレーニングや推論におけるモデルアウトプットの理解性の難しさ,モデル理解の欠如など,一般的な課題に注目した。
  論文  参考訳（メタデータ） (2024-01-24T01:50:29Z)
• A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Software Engineering Tasks [29.88525311985907]
  事前訓練されたモデル(PTM)は、様々なソフトウェア工学(SE)下流タスクで大きな成功を収めています。 広く使われているソリューションはパラメータ効率の微調整(PEFT)であり、追加パラメータを導入しながらPTMを凍結する。 本研究の目的は,5つのPEFT手法が8つのPTMおよび4つのSE下流タスクに対して有効であることを示すことである。
  論文  参考訳（メタデータ） (2023-12-25T05:25:39Z)
• The Shifted and The Overlooked: A Task-oriented Investigation of User-GPT Interactions [114.67699010359637]
  実際のユーザクエリの大規模なコレクションをGPTに解析する。 ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
  論文  参考訳（メタデータ） (2023-10-19T02:12:17Z)
• Naming Practices of Pre-Trained Models in Hugging Face [4.956536094440504]
  PTM(Pre-Trained Models)は、コンピュータシステムにおいて、デプロイ前に品質や性能に適応するために使用される。 エンジニアはデプロイメント前に品質やパフォーマンスに適応する。 以前の調査では、モデル名は必ずしも適切に選択されている訳ではなく、時に誤っている、と報告されていた。 本稿では,Hugging Face PTMレジストリにおいて,PTM命名の実践に関する実証的研究を行った。
  論文  参考訳（メタデータ） (2023-10-02T21:13:32Z)
• A Survey on Time-Series Pre-Trained Models [34.98332094625603]
  時系列マイニング (TSM) は, 実用化において大きな可能性を秘めている。 大量のラベル付きデータに依存するディープラーニングモデルは、TSMにうまく活用されている。 近年,事前学習モデルが時系列領域において徐々に注目を集めている。
  論文  参考訳（メタデータ） (2023-05-18T05:27:46Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)
• Pre-trained Models for Natural Language Processing: A Survey [75.95500552357429]
  事前学習モデル(PTM)の出現は、自然言語処理(NLP)を新しい時代にもたらした。 この調査は、様々なNLPタスクに対するPTMの理解、利用、開発のためのハンズオンガイドになることを目的としている。
  論文  参考訳（メタデータ） (2020-03-18T15:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。