論文の概要: Application Specific Compression of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2409.05368v1
• Date: Mon, 9 Sep 2024 06:55:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:40:55.213104
• Title: Application Specific Compression of Deep Learning Models
• Title（参考訳）: 深層学習モデルの応用特化圧縮
• Authors: Rohit Raj Rai, Angana Borah, Amit Awekar,
• Abstract要約: 大規模なディープラーニングモデルは圧縮され、特定のアプリケーションにデプロイされる。 私たちのゴールは、モデル圧縮プロセスをカスタマイズして、ターゲットアプリケーションにより良いパフォーマンスをもたらす圧縮モデルを作成することです。 抽出QA, 自然言語推論, パラフレーズ同定の3つの応用について, BERTファミリを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 0.8875650122536799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Deep Learning models are compressed and deployed for specific applications. However, current Deep Learning model compression methods do not utilize the information about the target application. As a result, the compressed models are application agnostic. Our goal is to customize the model compression process to create a compressed model that will perform better for the target application. Our method, Application Specific Compression (ASC), identifies and prunes components of the large Deep Learning model that are redundant specifically for the given target application. The intuition of our work is to prune the parts of the network that do not contribute significantly to updating the data representation for the given application. We have experimented with the BERT family of models for three applications: Extractive QA, Natural Language Inference, and Paraphrase Identification. We observe that customized compressed models created using ASC method perform better than existing model compression methods and off-the-shelf compressed models.
• Abstract（参考訳）: 大規模なディープラーニングモデルは圧縮され、特定のアプリケーションにデプロイされる。 しかし,現在のDeep Learningモデル圧縮手法では,対象アプリケーションに関する情報は利用できない。 その結果、圧縮されたモデルはアプリケーションに依存しない。 私たちのゴールは、モデル圧縮プロセスをカスタマイズして、ターゲットアプリケーションにより良いパフォーマンスをもたらす圧縮モデルを作成することです。 提案手法であるアプリケーション固有圧縮(ASC)は,対象とするアプリケーションに特化して冗長な大規模ディープラーニングモデルのコンポーネントを同定し,特定する。 私たちの作業の直感は、与えられたアプリケーションのデータ表現の更新に大きく貢献しないネットワークの一部を創り出すことです。 抽出QA, 自然言語推論, パラフレーズ同定の3つの応用について, BERTファミリを用いて実験を行った。 ASC法を用いて作成したカスタマイズ圧縮モデルは,既存のモデル圧縮法や既製の圧縮モデルよりも優れた性能を示す。

関連論文リスト

• Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
  Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。 提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-17T21:35:49Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Backdoor Attacks Against Deep Image Compression via Adaptive Frequency Trigger [106.10954454667757]
  本稿では,学習画像圧縮モデルに対する複数のトリガーを用いたバックドアアタックを提案する。 既存の圧縮システムや標準で広く使われている離散コサイン変換(DCT)に動機付けられ,周波数ベースのトリガーインジェクションモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-28T15:39:31Z)
• Deep learning model compression using network sensitivity and gradients [3.52359746858894]
  非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。 まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。 第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T03:02:40Z)
• Structural Dropout for Model Width Compression [1.52292571922932]
  既存のMLモデルは高度に過度にパラメータ化され、与えられたタスクに必要なリソースよりもはるかに多くのリソースを使用することが知られている。 本稿では,オリジナルのモデルと圧縮モデルのセットに対して,1つのトレーニングセッションのみを必要とする手法を提案する。 提案したアプローチは"構造的"なドロップアウトであり、ランダムに選択されたインデックスの上に隠された状態のすべての要素をプルークし、モデルにその特徴に対する重要な順序を学習させる。
  論文  参考訳（メタデータ） (2022-05-13T21:50:57Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search [100.71365025972258]
  BERT圧縮の効率的な手法であるNAS-BERTを提案する。 NAS-BERTは、検索空間上で大きなスーパーネットをトレーニングし、適応的なサイズとレイテンシを持つ複数の圧縮モデルを出力する。 GLUEとSQuADベンチマークデータセットの実験は、NAS-BERTが以前のアプローチよりも高精度で軽量なモデルを見つけることができることを示した。
  論文  参考訳（メタデータ） (2021-05-30T07:20:27Z)
• Self-Supervised GAN Compression [32.21713098893454]
  従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。 次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。 我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
  論文  参考訳（メタデータ） (2020-07-03T04:18:54Z)
• A flexible, extensible software framework for model compression based on the LC algorithm [10.787390511207683]
  ニューラルネットワークや他の機械学習モデルを最小限の労力で圧縮できるソフトウェアフレームワークを提案する。 ライブラリはPythonとPyTorchで書かれており、Githubで入手できる。
  論文  参考訳（メタデータ） (2020-05-15T21:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。