論文の概要: Vanishing Contributions: A Unified Approach to Smoothly Transition Neural Models into Compressed Form

• arxiv url: http://arxiv.org/abs/2510.09696v1
• Date: Thu, 09 Oct 2025 15:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.567015
• Title: Vanishing Contributions: A Unified Approach to Smoothly Transition Neural Models into Compressed Form
• Title（参考訳）: Vanishing Contributions:Smoothly transition Neural Modelの圧縮形式への統一的アプローチ
• Authors: Lorenzo Nikiforos, Charalampos Antoniadis, Luciano Prono, Fabio Pareschi, Riccardo Rovatti, Gianluca Setti,
• Abstract要約: Vanishing Contributions (VCON) は、ニューラルネットワークを圧縮形式にスムーズに移行するための一般的なアプローチである。 コンピュータビジョンおよび自然言語処理ベンチマークにおけるVCONの評価を,複数の圧縮戦略と組み合わせて行う。
• 参考スコア（独自算出の注目度）: 2.6986106861637165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing scale of deep neural networks has led to a growing need for compression techniques such as pruning, quantization, and low-rank decomposition. While these methods are very effective in reducing memory, computation and energy consumption, they often introduce severe accuracy degradation when applied directly. We introduce Vanishing Contributions (VCON), a general approach for smoothly transitioning neural models into compressed form. Rather than replacing the original network directly with its compressed version, VCON executes the two in parallel during fine-tuning. The contribution of the original (uncompressed) model is progressively reduced, while that of the compressed model is gradually increased. This smooth transition allows the network to adapt over time, improving stability and mitigating accuracy degradation. We evaluate VCON across computer vision and natural language processing benchmarks, in combination with multiple compression strategies. Across all scenarios, VCON leads to consistent improvements: typical gains exceed 3%, while some configuration exhibits accuracy boosts of 20%. VCON thus provides a generalizable method that can be applied to the existing compression techniques, with evidence of consistent gains across multiple benchmarks.
• Abstract（参考訳）: ディープニューラルネットワークの規模が大きくなるにつれ、プルーニング、量子化、低ランク分解といった圧縮技術の必要性が高まっている。 これらの手法は、メモリ、計算、エネルギー消費の削減に非常に効果的であるが、直接適用した場合に深刻な精度低下をもたらすことが多い。 本稿では、ニューラルネットワークを圧縮形式にスムーズに遷移させる一般的なアプローチであるVanishing Contributions (VCON)を紹介する。 オリジナルのネットワークを直接圧縮したバージョンに置き換える代わりに、VCONは細調整中に2つを並列に実行する。 圧縮されたモデルのコントリビューションは徐々に減少し、圧縮されたモデルのコントリビューションは徐々に増大する。 このスムーズな遷移により、ネットワークは時間とともに適応し、安定性を改善し、精度を低下させる。 コンピュータビジョンおよび自然言語処理ベンチマークにおけるVCONの評価を,複数の圧縮戦略と組み合わせて行う。 典型的なゲインは3%を超え、いくつかの構成では精度が20%向上している。 したがって、VCONは既存の圧縮技術に適用可能な一般化可能な方法を提供し、複数のベンチマークで一貫した利得を示す。

関連論文リスト

• GANCompress: GAN-Enhanced Neural Image Compression with Binary Spherical Quantization [0.0]
  GANCompressは、二元球量子化(BSQ)とGAN(Generative Adversarial Networks)を組み合わせた新しいニューラル圧縮フレームワークである。 GANCompressは圧縮効率を大幅に向上し、ファイルサイズを最大100倍まで削減し、視覚的歪みを最小限に抑える。
  論文  参考訳（メタデータ） (2025-05-19T00:18:27Z)
• CompGS++: Compressed Gaussian Splatting for Static and Dynamic Scene Representation [60.712165339762116]
  CompGS++はコンパクトガウスプリミティブを活用して正確な3Dモデリングを実現する新しいフレームワークである。 私たちの設計は、プリミティブ間の冗長性をなくすという原則に基づいている。 私たちの実装は、さらなる研究を促進するためにGitHubで公開されます。
  論文  参考訳（メタデータ） (2025-04-17T15:33:01Z)
• Multi-Scale Invertible Neural Network for Wide-Range Variable-Rate Learned Image Compression [90.59962443790593]
  本稿では,制限を克服するために,可逆変換に基づく可変レート画像圧縮モデルを提案する。 具体的には、入力画像をマルチスケールの潜在表現にマッピングする、軽量なマルチスケール非可逆ニューラルネットワークを設計する。 実験結果から,提案手法は既存の可変レート法と比較して最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T09:08:39Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• CrAFT: Compression-Aware Fine-Tuning for Efficient Visual Task Adaptation [3.043665249713003]
  プルーニングや量子化といったポストトレーニング後の圧縮技術は、デプロイメントコストの削減に役立つ。 本稿では,ネットワーク圧縮を効果的に訓練するフレームワークCrAFTを提案する。 CrAFTアプローチは、単一のGPUで数分または数時間以内に微調整を行うため、無視可能なトレーニングオーバーヘッドを追加する。
  論文  参考訳（メタデータ） (2023-05-08T07:51:40Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Substitutional Neural Image Compression [48.20906717052056]
  置換型ニューラルイメージ圧縮(snic)は、あらゆるニューラルイメージ圧縮モデルを強化する一般的なアプローチである。 フレキシブルな歪みメトリックに向けて圧縮性能を高め、単一のモデルインスタンスを使用したビットレート制御を可能にする。
  論文  参考訳（メタデータ） (2021-05-16T20:53:31Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。