論文の概要: Model soups to increase inference without increasing compute time
- arxiv url: http://arxiv.org/abs/2301.10092v1
- Date: Tue, 24 Jan 2023 15:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 13:17:15.234963
- Title: Model soups to increase inference without increasing compute time
- Title（参考訳）: 計算時間を増やすことなく推論を増加させるモデルスープ
- Authors: Charles Dansereau, Milo Sobral, Maninder Bhogal and Mehdi Zalai
- Abstract要約: 3つの異なるモデル(ResNet、ViT、EfficientNet)におけるModel Soupsのパフォーマンスの比較を行う。
次に、Pruned Soupと呼ばれる新しいSoup Recipeを紹介します。
スープの結果は、トレーニング済みのビジョントランスフォーマーの最高の個別モデルよりも優れていたが、ResNetやEfficientNetでは最悪だった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we compare Model Soups performances on three different models
(ResNet, ViT and EfficientNet) using three Soup Recipes (Greedy Soup Sorted,
Greedy Soup Random and Uniform soup) from arXiv:2203.05482, and reproduce the
results of the authors. We then introduce a new Soup Recipe called Pruned Soup.
Results from the soups were better than the best individual model for the
pre-trained vision transformer, but were much worst for the ResNet and the
EfficientNet. Our pruned soup performed better than the uniform and greedy
soups presented in the original paper. We also discuss the limitations of
weight-averaging that were found during the experiments. The code for our model
soup library and the experiments with different models can be found here:
https://github.com/milo-sobral/ModelSoup
- Abstract（参考訳）: 本稿では,3種類のモデル(ResNet,ViT,EfficientNet)におけるモデルスープのパフォーマンスを,arXiv:2203.05482の3種類のスープレシピ(Greedy Soup Sorted,Greedy Soup Random,Uniform soup)を用いて比較し,著者の成果を再現する。
次に、Pruned Soupと呼ばれる新しいSoup Recipeを紹介します。
スープの結果は、トレーニング済みのビジョントランスフォーマーの最高の個別モデルよりも優れていたが、ResNetやEfficientNetでは最悪だった。
刈り取ったスープは,原紙に提示された均一で欲深いスープよりも優れていた。
また,実験中に発見された重量制限についても検討した。
モデルスープライブラリのコードと、異なるモデルによる実験は以下の通りである。
関連論文リスト
- Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。
提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文 参考訳（メタデータ） (2022-06-22T17:58:23Z) - Optimization of Decision Tree Evaluation Using SIMD Instructions [0.0]
人気のCatBoostライブラリの祖先であるMatrixNetを探索する。
本稿では,より効率的にモデルを評価するために,AVX命令セットが与える機会について検討する。
論文 参考訳（メタデータ） (2022-05-15T15:12:40Z) - What do Toothbrushes do in the Kitchen? How Transformers Think our World
is Structured [137.83584233680116]
本稿では,トランスフォーマーに基づく言語モデルがオブジェクト関係に関する知識を抽出するのにどの程度役立つかを検討する。
異なる類似度尺度と組み合わせたモデルが,抽出できる知識の量で大きく異なることを示す。
驚くべきことに、静的モデルは、コンテキスト化されたモデルと同様に、ほぼ同じようにパフォーマンスします。
論文 参考訳（メタデータ） (2022-04-12T10:00:20Z) - SummaReranker: A Multi-Task Mixture-of-Experts Re-ranking Framework for
Abstractive Summarization [26.114829566197976]
要約候補の集合上で再ランク付けを行う第2段階モデルを直接訓練することは可能であることを示す。
我々のMix-of-experts SummaRerankerは、より良い候補を選択することを学び、ベースモデルの性能を一貫して改善します。
論文 参考訳（メタデータ） (2022-03-13T05:05:10Z) - Model soups: averaging weights of multiple fine-tuned models improves
accuracy without increasing inference time [69.7693300927423]
複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。
モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
論文 参考訳（メタデータ） (2022-03-10T17:03:49Z) - Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。
画像分類と物体検出におけるNetAugの有効性を示す。
論文 参考訳（メタデータ） (2021-10-17T18:48:41Z) - Mixability made efficient: Fast online multiclass logistic regression [68.8204255655161]
我々は、混合性は最適な後悔を伴うアルゴリズムを得るための強力なツールであることを示した。
結果として得られる手法は、しばしば計算の複雑さに悩まされ、実用性が低下した。
論文 参考訳（メタデータ） (2021-10-08T08:22:05Z) - A Conditional Cascade Model for Relational Triple Extraction [0.9926500244448218]
タグベースの手法は三重抽出における主要な手法の1つである。
ほとんどが階級不均衡の問題に悩まされている。
この問題に対処する新しいタグ付けモデルを提案する。
論文 参考訳（メタデータ） (2021-08-20T03:00:59Z) - When Ensembling Smaller Models is More Efficient than Single Large
Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。
これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文 参考訳（メタデータ） (2020-05-01T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。