論文の概要: Sparsified Model Zoo Twins: Investigating Populations of Sparsified Neural Network Models

• arxiv url: http://arxiv.org/abs/2304.13718v1
• Date: Wed, 26 Apr 2023 17:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 13:25:26.427958
• Title: Sparsified Model Zoo Twins: Investigating Populations of Sparsified Neural Network Models
• Title（参考訳）: スカラー化モデル動物双生児:スカラー化ニューラルネットワークモデルの人口調査
• Authors: Dominik Honegger, Konstantin Sch\"urholt, Damian Borth
• Abstract要約: 本研究は,動物園のスペーサー化バージョンを作成するために,2つの一般的なスペーサー化手法について検討する。 いずれの手法も, マグニチュードプルーニングで非常に堅牢であり, バラツキのドロップアウトよりも優れることがわかった。 モデル動物園のすべてのモデルとそれらのモデル双生児は一般に公開されている: modelzoos.cc。
• 参考スコア（独自算出の注目度）: 2.175391729845306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With growing size of Neural Networks (NNs), model sparsification to reduce the computational cost and memory demand for model inference has become of vital interest for both research and production. While many sparsification methods have been proposed and successfully applied on individual models, to the best of our knowledge their behavior and robustness has not yet been studied on large populations of models. With this paper, we address that gap by applying two popular sparsification methods on populations of models (so called model zoos) to create sparsified versions of the original zoos. We investigate the performance of these two methods for each zoo, compare sparsification layer-wise, and analyse agreement between original and sparsified populations. We find both methods to be very robust with magnitude pruning able outperform variational dropout with the exception of high sparsification ratios above 80%. Further, we find sparsified models agree to a high degree with their original non-sparsified counterpart, and that the performance of original and sparsified model is highly correlated. Finally, all models of the model zoos and their sparsified model twins are publicly available: modelzoos.cc.
• Abstract（参考訳）: ニューラルネットワーク(nns)が拡大するにつれて、モデル推論の計算コストとメモリ需要を減らすためのモデルスパーシフィケーションが研究と生産の両方にとって重要な関心事となっている。 多くのスパーシフィケーション手法が個々のモデルに提案され、うまく適用されているが、我々の知る限り、それらの振る舞いとロバスト性はまだ多くのモデルで研究されていない。 本稿では,このギャップをモデル動物園と呼ばれるモデルの個体群に2つの人気のあるスペーシフィケーション手法を適用し,元の動物園のスペーシフィケーションバージョンを作成することで解決する。 本研究では,各動物園におけるこれらの2つの方法の性能について検討し,スペーシフィケーション層について比較し,オリジナルとスペーシフィケーション群の比較を行った。 両手法は非常に頑健であり,80%以上のスパルシフィケーション率を除いた場合を除き,大きなプルーニングで変動損失を上回っていた。 さらに,スパーシフィケーションモデルと元の非スパーシフィケーションモデルとは高い相関性を示し,元のスパーシフィケーションモデルとスパーシフィケーションモデルの性能は高い相関関係があることを見出した。 最後に、モデル動物園のすべてのモデルとそれらのスパーシフィケードモデル双生児が一般公開されている。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Model Selection with Model Zoo via Graph Learning [45.30615308692713]
  本稿では,グラフ学習問題としてモデル選択を再構成する新しいフレームワークであるTransferGraphを紹介する。 我々は,TransferGraphが本質的なモデル-データセット関係を捕捉し,予測性能と実際の微調整結果との相関性を最大32%向上させる効果を,最先端の手法と比較した。
  論文  参考訳（メタデータ） (2024-04-05T09:50:00Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Explore and Exploit the Diverse Knowledge in Model Zoo for Domain Generalization [40.28810906825559]
  本稿では,最強モデルに限らず,多様な事前学習モデルを統合するアルゴリズムを提案する。 提案手法は,様々なデータセットに対する最先端の実証結果を示し,多様な知識の活用によるメリットを検証した。
  論文  参考訳（メタデータ） (2023-06-05T04:58:41Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights [2.9678808525128813]
  我々は、新しいモデルウェイトをサンプリングするために、生成的使用のためのハイパー表現を拡張した。 以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-29T12:53:58Z)
• A Relational Model for One-Shot Classification [80.77724423309184]
  インダクティブバイアスを組み込んだディープラーニングモデルは,広範なデータ拡張に頼ることなく,サンプル効率のよい学習にメリットをもたらすことを示す。 提案するワンショット分類モデルは,一対の入力を局所的および対的注意の形で関係マッチングする。
  論文  参考訳（メタデータ） (2021-11-08T07:53:12Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Multipopulation mortality modelling and forecasting: The multivariate functional principal component with time weightings approaches [3.450774887322348]
  共同死亡モデルと複数個体群予測のための2つの新しいモデルを提案する。 最初の提案モデルは、独立した関数型データモデルをマルチ人口モデル設定に拡張する。 2番目の提案モデルは、予測精度の観点から、最初のモデルと現在のモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-02-18T21:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。