論文の概要: torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP

• arxiv url: http://arxiv.org/abs/2310.17644v1
• Date: Thu, 26 Oct 2023 17:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 18:15:08.699665
• Title: torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP
• Title（参考訳）: Torchdistillは、再現性のあるコーディングなしディープラーニング研究のための顔ライブラリーをハグする:NLPを事例として
• Authors: Yoshitomo Matsubara
• Abstract要約: モジュール駆動のコーディング不要なディープラーニングフレームワークである torchdistill を,大幅に改良したバージョンとして紹介する。 アップグレードされた torchdistill に基づくスクリプトを用いて,BERT モデルの GLUE ベンチマーク結果を再現する。 27の細調整されたBERTモデルと結果を再現する構成はすべて、Hugging Faceで公開されている。
• 参考スコア（独自算出の注目度）: 3.0875505950565856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reproducibility in scientific work has been becoming increasingly important in research communities such as machine learning, natural language processing, and computer vision communities due to the rapid development of the research domains supported by recent advances in deep learning. In this work, we present a significantly upgraded version of torchdistill, a modular-driven coding-free deep learning framework significantly upgraded from the initial release, which supports only image classification and object detection tasks for reproducible knowledge distillation experiments. To demonstrate that the upgraded framework can support more tasks with third-party libraries, we reproduce the GLUE benchmark results of BERT models using a script based on the upgraded torchdistill, harmonizing with various Hugging Face libraries. All the 27 fine-tuned BERT models and configurations to reproduce the results are published at Hugging Face, and the model weights have already been widely used in research communities. We also reimplement popular small-sized models and new knowledge distillation methods and perform additional experiments for computer vision tasks.
• Abstract（参考訳）: 近年の深層学習の進歩に支えられた研究領域の急速な発展により、機械学習、自然言語処理、コンピュータビジョンコミュニティなどの研究コミュニティでは、科学的研究の再現性がますます重要になっている。 本研究では,モジュール駆動のコーディング不要なディープラーニングフレームワークである torchdistill を初期リリースから大幅にアップグレードし,再現性のある知識蒸留実験のための画像分類とオブジェクト検出タスクのみをサポートする。 アップグレードされたフレームワークがサードパーティライブラリでより多くのタスクをサポートできることを証明するため、アップグレードされたTorchdistillに基づいたスクリプトを使用してBERTモデルのGLUEベンチマーク結果を再現し、さまざまなHugging Faceライブラリと調和させる。 27種類の細調整されたBERTモデルと構成がHugging Faceで発表され、モデル重量はすでに研究コミュニティで広く使われている。 また, 一般的な小型モデルと新しい知識蒸留法を再実装し, コンピュータビジョンタスクのための追加実験を行った。

関連論文リスト

• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Evolving Knowledge Distillation with Large Language Models and Active Learning [46.85430680828938]
  大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。 従来の研究は、注釈付きデータを生成してLPMの知識をより小さなモデルに抽出しようと試みてきた。 EvoKD: Evolving Knowledge Distillationを提案する。これは、アクティブラーニングの概念を利用して、大規模言語モデルを用いたデータ生成のプロセスをインタラクティブに強化する。
  論文  参考訳（メタデータ） (2024-03-11T03:55:24Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• A Survey on Few-Shot Class-Incremental Learning [11.68962265057818]
  FSCIL(Few-shot class-incremental Learning)は、ディープニューラルネットワークが新しいタスクを学習する上で重要な課題である。 本稿では, FSCILに関する包括的調査を行う。 FSCILはコンピュータビジョンの様々な分野で大きな成果を上げている。
  論文  参考訳（メタデータ） (2023-04-17T10:15:08Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• DeepZensols: Deep Natural Language Processing Framework [23.56171046067646]
  この作業は、一貫した結果を再現できるフレームワークです。 自然言語処理(NLP)ディープラーニング(DL)モデルの作成、トレーニング、評価を行う手段を提供する。
  論文  参考訳（メタデータ） (2021-09-08T01:16:05Z)
• torchdistill: A Modular, Configuration-Driven Framework for Knowledge Distillation [1.8579693774597703]
  本稿では,PyTorchをベースとしたオープンソースフレームワークについて紹介する。 このフレームワークは、ユーザが宣言型PyYAML構成ファイルで実験を設計できるように設計されている。 我々は、大規模な機械学習カンファレンスで提示されたImageNetとCOCOデータセットで、元の実験結果の一部を再現する。
  論文  参考訳（メタデータ） (2020-11-25T17:51:30Z)
• Bayesian active learning for production, a systematic study and a reusable library [85.32971950095742]
  本稿では,現在のアクティブラーニング技術の主な欠点について分析する。 実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。 部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
  論文  参考訳（メタデータ） (2020-06-17T14:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。