論文の概要: Layer Pruning with Consensus: A Triple-Win Solution

• arxiv url: http://arxiv.org/abs/2411.14345v1
• Date: Thu, 21 Nov 2024 17:41:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:03.546541
• Title: Layer Pruning with Consensus: A Triple-Win Solution
• Title（参考訳）: Consensusによるレイヤプルーニング:トリプルウィンソリューション
• Authors: Leandro Giusti Mugnaini, Carolina Tavares Duarte, Anna H. Reali Costa, Artur Jordao,
• Abstract要約: レイヤ・プルーニングのアプローチは、しばしば、レイヤの複雑な基盤となる特性を完全に捉えない単一の基準に依存します。 本稿では,複数の類似度指標を,コンセンサス基準(Consensus criterion)と呼ばれる低重要層の単一の表現尺度に組み合わせた新しい手法を提案する。 本手法は,低精度低下,高性能化,敵攻撃に対するロバスト性の向上という3つの解を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Layer pruning offers a promising alternative to standard structured pruning, effectively reducing computational costs, latency, and memory footprint. While notable layer-pruning approaches aim to detect unimportant layers for removal, they often rely on single criteria that may not fully capture the complex, underlying properties of layers. We propose a novel approach that combines multiple similarity metrics into a single expressive measure of low-importance layers, called the Consensus criterion. Our technique delivers a triple-win solution: low accuracy drop, high-performance improvement, and increased robustness to adversarial attacks. With up to 78.80% FLOPs reduction and performance on par with state-of-the-art methods across different benchmarks, our approach reduces energy consumption and carbon emissions by up to 66.99% and 68.75%, respectively. Additionally, it avoids shortcut learning and improves robustness by up to 4 percentage points under various adversarial attacks. Overall, the Consensus criterion demonstrates its effectiveness in creating robust, efficient, and environmentally friendly pruned models.
• Abstract（参考訳）: レイヤプルーニングは、標準的な構造化プルーニングに代わる有望な代替手段を提供し、計算コスト、レイテンシ、メモリフットプリントを効果的に削減する。 注目すべきレイヤ分割アプローチは、削除する上で重要でないレイヤを検出することを目的としているが、多くの場合、レイヤの複雑な基盤となる特性を完全には捉えない単一の基準に依存している。 本稿では,複数の類似度指標を,コンセンサス基準(Consensus criterion)と呼ばれる低重要層の単一の表現尺度に組み合わせた新しい手法を提案する。 本手法は,低精度低下,高性能化,敵攻撃に対するロバスト性の向上という3つの解をもたらす。 最大78.80%のFLOPの削減と、異なるベンチマークにおける最先端の手法に匹敵する性能により、エネルギー消費と炭素排出量をそれぞれ66.99%、68.75%削減する。 さらに、ショートカット学習を回避し、様々な敵攻撃の下で最大4ポイントの堅牢性を向上する。 全体として、Consensus criterionは、堅牢で、効率的で、環境に優しいプルーニングモデルを作成する効果を示す。

関連論文リスト

• Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
  本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。 これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。 この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
  論文  参考訳（メタデータ） (2025-02-20T17:51:10Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Effective Layer Pruning Through Similarity Metric Perspective [0.0]
  ディープニューラルネットワークは、認知タスクを解決する機械学習において、主要なパラダイムとなっている。 これらのモデルから構造を抽出することは、ネットワークの複雑さを減らすための簡単なアプローチである。 層プルーニングは、しばしば高い圧縮速度でネットワーク予測能力(すなわち精度)を損なう。 この研究は、プルーニング手法によって追求されるすべての基礎特性を満たす効果的なレイヤ・プルーニング戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-27T11:54:51Z)
• Accelerating Inference in Large Language Models with a Unified Layer Skipping Strategy [67.45518210171024]
  動的計算手法は、いくつかの計算層をスキップすることで、Large Language Models (LLM) に対する顕著な加速を示す。 対象の高速化率のみに基づいて計算をスキップする層数を選択する統一層スキーッピング戦略を提案する。 機械翻訳とテキスト要約という2つの共通タスクの実験結果は、目標速度比が与えられた場合、統一層スキーピング戦略は推論性能と実際のモデルスループットの両方を著しく向上させることを示している。
  論文  参考訳（メタデータ） (2024-04-10T12:12:07Z)
• The Unreasonable Ineffectiveness of the Deeper Layers [5.984361440126354]
  本研究では,オープンウェイトプレトレーニング LLM の一般家庭を対象とした簡易な階層分割戦略について検討する。 レイヤーの大部分が取り除かれるまで、パフォーマンスの最小限の劣化が見られます。 科学的見地からすると、これらのLCMの堅牢性からレイヤの削除は、現在の事前学習手法がネットワークの深い層におけるパラメータを適切に活用していない、あるいは浅い層が知識を保存する上で重要な役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2024-03-26T17:20:04Z)
• Enhanced Sparsification via Stimulative Training [36.0559905521154]
  既存の方法では、減量重みの重要性を抑制するために、時差による罰則を設定するのが一般的である。 本稿では,拡張スパシフィケーションパラダイムに基づく,表現性という構造的プルーニングフレームワークを提案する。 蒸留の容量ギャップを小さくするため, 変異膨張法を提案する。
  論文  参考訳（メタデータ） (2024-03-11T04:05:17Z)
• Select High-Level Features: Efficient Experts from a Hierarchical Classification Network [4.051316555028782]
  本研究では,予測性能を損なうことなく,タスクと計算の複雑さを動的に低減する新しいエキスパート生成手法を提案する。 これは、一般的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせた、新しい階層型分類ネットワークトポロジーに基づいている。 動的推論の観点では、我々の方法論は最大88.7.%のパラメータと73.4.%のギガ乗算(GMAC)演算を除外することができる。
  論文  参考訳（メタデータ） (2024-03-08T00:02:42Z)
• ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention [48.697458429460184]
  情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。 本稿では,ERNIE-Sparseというモデルを提案する。 i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
  論文  参考訳（メタデータ） (2022-03-23T08:47:01Z)
• Boosting Transferability of Targeted Adversarial Examples via Hierarchical Generative Networks [56.96241557830253]
  転送ベースの敵攻撃はブラックボックス設定におけるモデルロバスト性を効果的に評価することができる。 本稿では,異なるクラスを対象にした対角的例を生成する条件生成攻撃モデルを提案する。 提案手法は,既存の手法と比較して,標的となるブラックボックス攻撃の成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-05T06:17:47Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。