論文の概要: torchdistill: A Modular, Configuration-Driven Framework for Knowledge
Distillation
- arxiv url: http://arxiv.org/abs/2011.12913v2
- Date: Wed, 27 Jan 2021 19:13:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 01:43:29.828083
- Title: torchdistill: A Modular, Configuration-Driven Framework for Knowledge
Distillation
- Title(参考訳): torchdistill: 知識蒸留のためのモジュール型構成駆動フレームワーク
- Authors: Yoshitomo Matsubara
- Abstract要約: 本稿では,PyTorchをベースとしたオープンソースフレームワークについて紹介する。
このフレームワークは、ユーザが宣言型PyYAML構成ファイルで実験を設計できるように設計されている。
我々は、大規模な機械学習カンファレンスで提示されたImageNetとCOCOデータセットで、元の実験結果の一部を再現する。
- 参考スコア(独自算出の注目度): 1.8579693774597703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While knowledge distillation (transfer) has been attracting attentions from
the research community, the recent development in the fields has heightened the
need for reproducible studies and highly generalized frameworks to lower
barriers to such high-quality, reproducible deep learning research. Several
researchers voluntarily published frameworks used in their knowledge
distillation studies to help other interested researchers reproduce their
original work. Such frameworks, however, are usually neither well generalized
nor maintained, thus researchers are still required to write a lot of code to
refactor/build on the frameworks for introducing new methods, models, datasets
and designing experiments. In this paper, we present our developed open-source
framework built on PyTorch and dedicated for knowledge distillation studies.
The framework is designed to enable users to design experiments by declarative
PyYAML configuration files, and helps researchers complete the recently
proposed ML Code Completeness Checklist. Using the developed framework, we
demonstrate its various efficient training strategies, and implement a variety
of knowledge distillation methods. We also reproduce some of their original
experimental results on the ImageNet and COCO datasets presented at major
machine learning conferences such as ICLR, NeurIPS, CVPR and ECCV, including
recent state-of-the-art methods. All the source code, configurations, log files
and trained model weights are publicly available at
https://github.com/yoshitomo-matsubara/torchdistill .
- Abstract(参考訳): 知識蒸留(トランスファー)が研究コミュニティから注目を集めている一方で、近年の分野の発展により、このような高品質で再現可能な深層学習研究への障壁を低くするために、再現可能な研究と高度に一般化された枠組みの必要性が高まっている。
何人かの研究者が自発的に知識蒸留の研究で使われたフレームワークを公開し、他の研究者がオリジナルの作品を再現するのを助ける。
しかしながら、そのようなフレームワークは通常、十分に一般化も保守もされていないため、研究者は、新しいメソッドやモデル、データセット、実験の設計を行うためのフレームワークをリファクタリング/構築するために、多くのコードを書く必要がある。
本稿では,pytorchを基盤として,知識蒸留研究を専門とするオープンソースのフレームワークを提案する。
このフレームワークは、ユーザが宣言的なPyYAML構成ファイルで実験を設計できるように設計されており、最近提案されたML Code Completeness Checklistの完成を支援する。
開発したフレームワークを用いて, 種々の効率的な訓練戦略を示し, 様々な知識蒸留手法を実装した。
我々はまた、ICLR、NeurIPS、CVPR、ECCVといった主要な機械学習カンファレンスで提示されたImageNetおよびCOCOデータセットに関する実験結果のいくつかを再現した。
ソースコード、設定、ログファイル、トレーニング済みモデルウェイトはすべてhttps://github.com/yoshitomo-matsubara/torchdistill.comで公開されている。
関連論文リスト
- MLXP: A framework for conducting replicable Machine Learning eXperiments
in Python [71.22547130430371]
MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。
実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
論文 参考訳(メタデータ) (2024-02-21T14:22:20Z) - DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM
Workflows [81.38065762300718]
我々は、研究者が強力な大規模言語モデルを実装することができるオープンソースのPythonライブラリであるDataDreamerを紹介した。
DataDreamerはまた、オープンサイエンスを促進するために提案するベストプラクティスに研究者が従うのを助ける。
論文 参考訳(メタデータ) (2024-02-16T00:10:26Z) - A Reliable Knowledge Processing Framework for Combustion Science using
Foundation Models [0.0]
この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。
開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。
このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
論文 参考訳(メタデータ) (2023-12-31T17:15:25Z) - torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free
Deep Learning Studies: A Case Study on NLP [3.0875505950565856]
モジュール駆動のコーディング不要なディープラーニングフレームワークである torchdistill を,大幅に改良したバージョンとして紹介する。
アップグレードされた torchdistill に基づくスクリプトを用いて,BERT モデルの GLUE ベンチマーク結果を再現する。
27の細調整されたBERTモデルと結果を再現する構成はすべて、Hugging Faceで公開されている。
論文 参考訳(メタデータ) (2023-10-26T17:57:15Z) - Diffusion-based Visual Counterfactual Explanations -- Towards Systematic
Quantitative Evaluation [64.0476282000118]
視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。
評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。
本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
論文 参考訳(メタデータ) (2023-08-11T12:22:37Z) - Deep learning for table detection and structure recognition: A survey [49.09628624903334]
本調査の目的は,テーブル検出の分野での大きな進展を深く理解することである。
この分野における古典的アプリケーションと新しいアプリケーションの両方について分析する。
既存のモデルのデータセットとソースコードは、読者にこの膨大な文献のコンパスを提供するために組織されている。
論文 参考訳(メタデータ) (2022-11-15T19:42:27Z) - PyRelationAL: A Library for Active Learning Research and Development [0.11545092788508224]
PyRelationALは、アクティブラーニング(AL)研究のためのオープンソースライブラリである。
既存の文献に基づいたベンチマークデータセットとALタスク設定へのアクセスを提供する。
我々は、ベンチマークデータセットのPyRelationALコレクションの実験を行い、ALが提供できる相当な経済状況を示す。
論文 参考訳(メタデータ) (2022-05-23T08:21:21Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - A Selective Survey on Versatile Knowledge Distillation Paradigm for
Neural Network Models [3.770437296936382]
本稿では, 知識蒸留の3つの重要な要素が, 知識と損失である, 教師-学生パラダイム, 蒸留プロセスである,という仮説から, 知識蒸留の特徴を概観する。
本稿では, 知識蒸留における今後の課題として, 性能向上の分析分析を研究対象とする説明可能な知識蒸留と, 深層学習コミュニティにおける熱い研究課題である自己教師型学習について述べる。
論文 参考訳(メタデータ) (2020-11-30T05:22:02Z) - dagger: A Python Framework for Reproducible Machine Learning Experiment
Orchestration [0.913755431537592]
機械学習における多段階の実験は、しばしば、複数の実行経路に沿ってモデルに作用する状態変化操作を含む。
再現性と再利用可能な実験オーケストレーションを容易にするフレームワークであるDaggerを提案する。
論文 参考訳(メタデータ) (2020-06-12T21:42:48Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。