論文の概要: A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression

• arxiv url: http://arxiv.org/abs/2309.13077v1
• Date: Thu, 21 Sep 2023 02:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 22:23:23.980976
• Title: A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression
• Title（参考訳）: ハイブリッド圧縮のエンドツーエンド学習のための微分可能なフレームワーク
• Authors: Moonjung Eo, Suhyun Kang and Wonjong Rhee
• Abstract要約: フィルタプルーニングと低ランク分解は構造化圧縮の基礎技術である。 我々は、フィルタ選択、ランク選択、予算制約を1つの分析式に表現できるtextitDifferentiable Framework(DF)を開発した。
• 参考スコア（独自算出の注目度）: 2.3940819037450987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Filter pruning and low-rank decomposition are two of the foundational techniques for structured compression. Although recent efforts have explored hybrid approaches aiming to integrate the advantages of both techniques, their performance gains have been modest at best. In this study, we develop a \textit{Differentiable Framework~(DF)} that can express filter selection, rank selection, and budget constraint into a single analytical formulation. Within the framework, we introduce DML-S for filter selection, integrating scheduling into existing mask learning techniques. Additionally, we present DTL-S for rank selection, utilizing a singular value thresholding operator. The framework with DML-S and DTL-S offers a hybrid structured compression methodology that facilitates end-to-end learning through gradient-base optimization. Experimental results demonstrate the efficacy of DF, surpassing state-of-the-art structured compression methods. Our work establishes a robust and versatile avenue for advancing structured compression techniques.
• Abstract（参考訳）: フィルタプルーニングと低ランク分解は構造化圧縮の基礎技術である。 近年,両手法の利点を統合するためのハイブリッドアプローチが検討されているが,その性能向上は概ね緩やかである。 本研究では,フィルタ選択,ランク選択,予算制約を単一の解析的定式化に表現できる \textit{differentiable framework~(df)} を開発した。 本フレームワークでは,フィルタ選択のためのDML-Sを導入し,スケジューリングを既存のマスク学習手法に統合する。 さらに,特異値しきい値演算子を用いてランク選択のためのdtl-sを提案する。 DML-SとDTL-Sのフレームワークは、勾配ベース最適化によるエンドツーエンドの学習を容易にするハイブリッドな構造化圧縮手法を提供する。 実験結果は,最先端構造圧縮法を超越したDFの有効性を示した。 我々の研究は構造化圧縮技術を進歩させるための堅牢で多用途な方法を確立している。

関連論文リスト

• Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
  本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。 本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。 私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2024-10-15T06:17:59Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• A Margin-Maximizing Fine-Grained Ensemble Method [42.44032031918387]
  マルジン最大化ファイングラインドアンサンブル法(Margin-Maximizing Fine-Grained Ensemble Method)を提案する。 少数の学習者を巧みに最適化し、一般化能力を向上させることで、大規模アンサンブルを超えるパフォーマンスを実現する。 本手法は,基礎学習者の10分の1と,他の最先端のアンサンブル手法を用いて,従来のランダム林よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-19T15:48:12Z)
• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
  大規模言語モデル(LLM)の即時圧縮問題について定式化する。 ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。 本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
  論文  参考訳（メタデータ） (2024-07-22T09:40:13Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• Low-Rank Prune-And-Factorize for Language Model Compression [18.088550230146247]
  マトリックスの分解は、中程度から高い圧縮速度で良好な性能を維持することができない。 スパシティ対応SVDとミックスランクファインチューニングの2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T07:38:43Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization [41.894281911990554]
  両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。 BDAは上層と下層の両方の階層的目的を集約する。 従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:58:12Z)
• Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression [145.04742985050808]
  我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。 スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。 われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
  論文  参考訳（メタデータ） (2020-03-19T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。