論文の概要: PTSBench: A Comprehensive Post-Training Sparsity Benchmark Towards Algorithms and Models

• arxiv url: http://arxiv.org/abs/2412.07268v1
• Date: Tue, 10 Dec 2024 07:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:35:35.024743
• Title: PTSBench: A Comprehensive Post-Training Sparsity Benchmark Towards Algorithms and Models
• Title（参考訳）: PTSBench: アルゴリズムとモデルに向けた総合的なトレーニング後のスパーシティベンチマーク
• Authors: Zining Wnag, Jinyang Guo, Ruihao Gong, Yang Yong, Aishan Liu, Yushi Huang, Jiaheng Liu, Xianglong Liu,
• Abstract要約: PTSBenchは、アルゴリズムとモデルに対する最初の総合的なトレーニング後のスパーシリティベンチマークである。 我々は、40以上のオフザシェルフモデルアーキテクチャを用いて、典型的な3つのタスクに対して10以上のPTSの汎用プラガブルな細かなテクニックをベンチマークする。 PTSBench は,(1) PTS アルゴリズムをよりよく理解するための新たな観測,(2) モデルのスパーシフィケーション能力に関する詳細な,包括的な評価,(3) 十分に構造化された,容易に統合されたオープンソースフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 39.56594737760323
• License:
• Abstract: With the increased attention to model efficiency, post-training sparsity (PTS) has become more and more prevalent because of its effectiveness and efficiency. However, there remain questions on better practice of PTS algorithms and the sparsification ability of models, which hinders the further development of this area. Therefore, a benchmark to comprehensively investigate the issues above is urgently needed. In this paper, we propose the first comprehensive post-training sparsity benchmark called PTSBench towards algorithms and models. We benchmark 10+ PTS general-pluggable fine-grained techniques on 3 typical tasks using over 40 off-the-shelf model architectures. Through extensive experiments and analyses, we obtain valuable conclusions and provide several insights from both algorithms and model aspects. Our PTSBench can provide (1) new observations for a better understanding of the PTS algorithms, (2) in-depth and comprehensive evaluations for the sparsification ability of models, and (3) a well-structured and easy-integrate open-source framework. We hope this work will provide illuminating conclusions and advice for future studies of post-training sparsity methods and sparsification-friendly model design. The code for our PTSBench is released at \href{https://github.com/ModelTC/msbench}{https://github.com/ModelTC/msbench}.
• Abstract（参考訳）: モデル効率への注目が高まるにつれ、PTS(Post-training Sparsity)はその有効性と効率性から、ますます広まりつつある。 しかし、PTSアルゴリズムのより良い実践とモデルのスパーシフィケーション能力に疑問が残るため、この分野のさらなる発展を妨げている。 したがって、上記の問題を包括的に調査するベンチマークが緊急に必要となる。 本稿では, PTSBench と呼ばれる, アルゴリズムとモデルに対する学習後空間性の最初の総合的なベンチマークを提案する。 我々は、40以上のオフザシェルフモデルアーキテクチャを用いて、典型的な3つのタスクに対して10以上のPTS汎用プラガブルな細かなテクニックをベンチマークする。 広範な実験と分析を通じて、我々は貴重な結論を得、アルゴリズムとモデルの両方の側面からいくつかの洞察を提供する。 PTSBench は,(1) PTS アルゴリズムをよりよく理解するための新たな観測,(2) モデルのスパーシフィケーション能力に関する詳細な,包括的な評価,(3) 十分に構造化された,容易に統合されたオープンソースフレームワークを提供する。 本研究は,学習後のスパーシリティ手法とスパーシフィケーションフレンドリーなモデル設計の今後の研究に,光り輝く結論とアドバイスを提供することを願っている。 PTSBench のコードは \href{https://github.com/ModelTC/msbench}{https://github.com/ModelTC/msbench} で公開されている。

関連論文リスト

• Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis [89.60263788590893]
  後学習量子化(PTQ)技術は大規模言語モデル(LLM)圧縮に広く採用されている。 既存のアルゴリズムは主にパフォーマンスに重点を置いており、モデルサイズ、パフォーマンス、量子化ビット幅間のトレードオフを見越している。
  論文  参考訳（メタデータ） (2025-02-18T07:35:35Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Stochastic Two Points Method for Deep Model Zeroth-order Optimization [32.459322001738144]
  本稿では,勾配自由状態下での効率的な2点(S2P)アプローチを提案する。 一般および緩和された滑らか性仮定の下で、S2Pの理論収束性を示す。 我々は、VS2Pが深層モデルの目的を最適化するのに非常に効果的であることを示す。
  論文  参考訳（メタデータ） (2024-02-02T18:39:40Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Leveraging Reinforcement Learning and Large Language Models for Code Optimization [14.602997316032706]
  本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。 提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。 我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
  論文  参考訳（メタデータ） (2023-12-09T19:50:23Z)
• Precise Learning of Source Code Contextual Semantics via Hierarchical Dependence Structure and Graph Attention Networks [28.212889828892664]
  階層的な依存関係を組み込んだ新しいソースコードモデルを提案する。 本稿では,基本ブロックの構文構造,すなわち対応するASTをソースコードモデルに導入し,十分な情報を提供する。 その結果,本モデルではパラメータのスケールを50%削減し,プログラム分類タスクの精度を4%向上させることができた。
  論文  参考訳（メタデータ） (2021-11-20T04:03:42Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Highly Efficient Knowledge Graph Embedding Learning with Orthogonal Procrustes Analysis [10.154836127889487]
  知識グラフ埋め込み(KGE)は、幅広いアプリケーションへの約束のために、近年集中的に研究されています。 本稿では, トレーニング時間と炭素フットプリントを桁違いに削減できる簡易かつ効果的なKGEフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-10T03:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。