論文の概要: Fast Tensorization of Neural Networks via Slice-wise Feature Distillation

• arxiv url: http://arxiv.org/abs/2605.19842v1
• Date: Tue, 19 May 2026 13:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.374902
• Title: Fast Tensorization of Neural Networks via Slice-wise Feature Distillation
• Title（参考訳）: Slice-wise Feature Distillationによるニューラルネットワークの高速テンソル化
• Authors: Safa Hamreras, Sukhbinder Singh, Román Orús,
• Abstract要約: 本稿ではスライスワイズ特性蒸留に基づくニューラルネットワーク圧縮のためのスケーラブルなテンソル化フレームワークを提案する。 従来の大域的テンソル化よりも顕著に向上し,中程度の圧縮速度でほぼロスレス圧縮を実現した。 GPT-2 XLの結果はさらに,本手法のスケーラビリティと大規模モデルへの適用性を実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a scalable tensorization framework for neural network compression based on slice-wise feature distillation. Unlike conventional tensor decomposition methods that rely on costly global finetuning, our approach decomposes the network into slices consisting of either individual layers or blocks (e.g., convolutional layers or MLPs), or small groups of consecutive layers, and tensorizes each slice independently to reproduce the intermediate representations of the original pretrained model. This modular strategy improves accuracy recovery, reduces data requirements, and enables efficient parallel optimization. Experiments on ResNet-34 show significant gains over conventional global tensorization, achieving near-lossless compression at moderate compression rates with faster optimization. Results on GPT-2 XL further demonstrate the scalability of the method and its applicability to large-scale models, particularly in distributed settings.
• Abstract（参考訳）: 本稿ではスライスワイズ特性蒸留に基づくニューラルネットワーク圧縮のためのスケーラブルなテンソル化フレームワークを提案する。 コストのかかる大域的な微調整に依存する従来のテンソル分解法とは異なり、本手法では、ネットワークを個別の層またはブロック(例えば、畳み込み層またはMLP)または連続した層の小さなグループのいずれかからなるスライスに分解し、各スライスを独立にテンソル化し、元の事前訓練されたモデルの中間表現を再現する。 このモジュラ戦略は精度の回復を改善し、データ要求を削減し、効率的な並列最適化を可能にする。 ResNet-34の実験は、従来のグローバルなテンソル化よりも顕著に向上し、より高速な最適化で中程度の圧縮速度で、ほぼロスレスな圧縮を実現した。 GPT-2 XLの結果はさらに、大規模モデル、特に分散環境での手法のスケーラビリティと適用性を実証している。

関連論文リスト

• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Low-Rank Matrix Approximation for Neural Network Compression [0.0]
  本稿では,重み行列の圧縮に最適なランクを近似する適応型特異値分解法を提案する。 ARSVDは、その特異値のエントロピー分布を通じて、層ごとのランクの適応的な選択を使用する。 提案手法は, 効率よく, 層圧縮が可能であり, 空間, 時間的複雑さを低減して性能を向上する。
  論文  参考訳（メタデータ） (2025-04-25T06:04:01Z)
• Convex Distillation: Efficient Compression of Deep Networks via Convex Optimization [46.18363767705346]
  リソース制約のあるデバイスに大規模で複雑な凸ネットワークを配置することは、その要求のために大きな課題となった。 本稿では,本モデルを用いてモデルを効率よく圧縮する新しい蒸留技術を紹介する。 当社のアプローチでは,後処理を必要とせずに,オリジナルモデルに匹敵するパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-09T06:04:52Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
  ディープネットにおける因子化層の初期化と規則化の方法を示す。 これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
  論文  参考訳（メタデータ） (2021-05-03T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。