論文の概要: Model Compression Techniques in Biometrics Applications: A Survey
- arxiv url: http://arxiv.org/abs/2401.10139v1
- Date: Thu, 18 Jan 2024 17:06:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 15:47:21.449750
- Title: Model Compression Techniques in Biometrics Applications: A Survey
- Title（参考訳）: バイオメトリックス応用におけるモデル圧縮技術:調査
- Authors: Eduarda Caldeira, Pedro C. Neto, Marco Huber, Naser Damer, Ana F.
Sequeira
- Abstract要約: ディープラーニングアルゴリズムは人類のタスク自動化能力を大きく強化してきた。
これらのモデルの性能の大幅な改善は、その複雑さの増大と非常に相関している。
これにより、性能を著しく低下させることなく、ディープラーニングモデルの計算コストとメモリコストを大幅に削減する圧縮技術の開発につながった。
- 参考スコア（独自算出の注目度）: 5.452293986561535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of deep learning algorithms has extensively empowered
humanity's task automatization capacity. However, the huge improvement in the
performance of these models is highly correlated with their increasing level of
complexity, limiting their usefulness in human-oriented applications, which are
usually deployed in resource-constrained devices. This led to the development
of compression techniques that drastically reduce the computational and memory
costs of deep learning models without significant performance degradation. This
paper aims to systematize the current literature on this topic by presenting a
comprehensive survey of model compression techniques in biometrics
applications, namely quantization, knowledge distillation and pruning. We
conduct a critical analysis of the comparative value of these techniques,
focusing on their advantages and disadvantages and presenting suggestions for
future work directions that can potentially improve the current methods.
Additionally, we discuss and analyze the link between model bias and model
compression, highlighting the need to direct compression research toward model
fairness in future works.
- Abstract（参考訳）: ディープラーニングアルゴリズムの開発は、人類のタスク自動化能力を大きく強化してきた。
しかし、これらのモデルの性能の大幅な改善は、その複雑さのレベルの増加と非常に相関しており、通常リソースに制約されたデバイスにデプロイされる人間指向のアプリケーションでは有用性を制限している。
これにより、性能を著しく低下させることなく、ディープラーニングモデルの計算コストとメモリコストを大幅に削減する圧縮技術の開発につながった。
本稿では, バイオメトリックス応用におけるモデル圧縮技術, 量子化, 知識蒸留, プルーニングに関する包括的調査を行い, 現状の文献を体系化することを目的とする。
我々は,これらの手法の比較価値を批判的に分析し,その利点と欠点に着目し,現在の方法を改善する可能性のある今後の作業方向の提案を行う。
さらに,モデルバイアスとモデル圧縮の関係を考察し,今後の作業におけるモデル公平性に対するモデル圧縮研究の方向性を強調する。
関連論文リスト
- Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique [46.266960248570086]
本稿では,教師モデルと生徒モデルの両方の同時ロードを回避する,革新的なオフライン記録戦略を提案する。
このアプローチは教師モデルに多数の追加サンプルを投入し、データ拡張パラメータと対応するロジット出力の両方を記録する。
実験により, 提案した蒸留方式により, 学生モデルが最先端モデルに匹敵する性能を達成できることが実証された。
論文 参考訳（メタデータ） (2024-09-03T16:12:12Z) - Comprehensive Study on Performance Evaluation and Optimization of Model Compression: Bridging Traditional Deep Learning and Large Language Models [0.0]
世界中のコネクテッドデバイスの数の増加は、計算能力の低いローカルデバイスに容易に展開できる圧縮モデルを保証する。
画像分類,オブジェクト検出,言語モデル,生成モデルに基づく問題文に使用される一般的なディープラーニングモデルに対して,量子化とプルーニングの両方を実装した。
論文 参考訳（メタデータ） (2024-07-22T14:20:53Z) - Structured Model Pruning for Efficient Inference in Computational Pathology [2.9687381456164004]
バイオメディカルイメージングにおいて広く使われているU-Netスタイルのアーキテクチャを解析する手法を開発した。
我々は,プルーニングが性能を低下させることなく,少なくとも70%圧縮できることを実証的に実証した。
論文 参考訳（メタデータ） (2024-04-12T22:05:01Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Uncovering the Hidden Cost of Model Compression [43.62624133952414]
視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。
モデル圧縮は視覚的プロンプトベース転送の性能に有害である。
しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
論文 参考訳（メタデータ） (2023-08-29T01:47:49Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳（メタデータ） (2023-02-16T16:45:36Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Recovering Quantitative Models of Human Information Processing with
Differentiable Architecture Search [0.3384279376065155]
定量的モデルの自動構築のためのオープンソースのパイプラインを導入する。
これらの手法は、心理物理学、学習、意思決定のモデルから基本的な定量的モチーフを回復することができる。
論文 参考訳（メタデータ） (2021-03-25T16:00:23Z) - Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。
本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。
エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
論文 参考訳（メタデータ） (2020-02-10T13:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。