論文の概要: Robust Basis Spline Decoupling for the Compression of Transformer Models
- arxiv url: http://arxiv.org/abs/2605.18794v1
- Date: Mon, 11 May 2026 06:37:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 21:37:32.332412
- Title: Robust Basis Spline Decoupling for the Compression of Transformer Models
- Title（参考訳）: 変圧器モデル圧縮のためのロバスト基底スプラインデカップリング
- Authors: Joppe De Jonghe, Van Tien Pham, Mariya Ishteva,
- Abstract要約: 既存のアプローチを一般化するB-splineベースのデカップリングフレームワークを導入する。
B-スプラインの局所的支持とフレキシブルな滑らかさ制御を利用することで、より安定で表現力のある表現が得られる。
- 参考スコア（独自算出の注目度）: 1.1470070927586018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoupling is a powerful modeling paradigm for representing multivariate functions as compositions of linear transformations and univariate nonlinear functions. A single-layer decoupling can be viewed as a fully connected neural network with a single hidden layer and flexible activation functions, providing a direct link with neural networks. Because of this, the use of decoupling methods has gained increasing attention in neural network domains, particularly compression, since it enables structured approximations with reduced parameter complexity. Existing tensor-based decoupling methods typically rely on polynomial or piecewise-linear parameterizations of the internal nonlinear functions, which can suffer from numerical instability or limited expressiveness. In this work, we introduce a B-spline-based decoupling framework that generalizes these existing approaches. By exploiting the local support and flexible smoothness control of B-splines, the proposed formulation yields a more numerically stable and expressive representation. We derive a constrained coupled matrix-tensor factorization and propose a robust alternating least-squares algorithm, called R-CMTF-BSD, incorporating normalization and Tikhonov regularization. The proposed method is validated through experiments on synthetic data and transformer model compression. Results on the Vision and Swin Transformer architectures demonstrate that B-spline decoupling enables substantial parameter reduction while maintaining competitive accuracy, making the R-CMTF-BSD algorithm a promising tool for structured neural network compression.
- Abstract（参考訳）: 疎結合は、線形変換と単変量非線形関数の合成として多変量関数を表現するための強力なモデリングパラダイムである。
単一層分離は、単一の隠蔽層と柔軟なアクティベーション機能を備えた完全に接続されたニューラルネットワークとして見ることができ、ニューラルネットワークとの直接リンクを提供する。
このため、デカップリング手法の使用は、パラメータの複雑さを低減した構造化近似を可能にするため、ニューラルネットワーク領域、特に圧縮において注目を集めている。
既存のテンソルベースのデカップリング法は通常、数値不安定性や限定表現性に悩まされる内部非線形関数の多項式あるいは片方向線形パラメータ化に依存する。
本稿では,既存のアプローチを一般化するB-splineベースのデカップリングフレームワークを提案する。
B-スプラインの局所的支持とフレキシブルな滑らかさ制御を利用することで、より数値的に安定かつ表現的な表現が得られる。
R-CMTF-BSD と呼ばれる頑健な交互最小二乗アルゴリズムを提案し,正規化とチコノフ正則化を取り入れた。
提案手法は, 合成データと変圧器モデル圧縮実験により検証した。
Vision と Swin Transformer アーキテクチャの結果、B-spline のデカップリングにより、競合精度を維持しながらパラメータの大幅な削減が可能であり、R-CMTF-BSD アルゴリズムは構造化されたニューラルネットワーク圧縮のための有望なツールであることが示された。
関連論文リスト
- DualFlexKAN: Dual-stage Kolmogorov-Arnold Networks with Independent Function Control [2.071516130824992]
Kolmogorov-Arnold Networks (KAN) はこの制限をエッジ中心の学習可能な関数によって解決している。
Kanはパラメータスケーリングとアーキテクチャの剛性に悩まされており、標準正規化技術の効果的な統合を妨げる。
本稿では,DualFlexKAN(DFKAN)について紹介する。DualFlexKAN(DFKAN)は,先線形入力変換と後線形出力を独立に制御するデュアルステージ機構を備えたフレキシブルアーキテクチャである。
論文 参考訳（メタデータ） (2026-03-09T16:36:04Z) - Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。
本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
論文 参考訳（メタデータ） (2025-06-27T11:23:10Z) - Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。
提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。
実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
論文 参考訳（メタデータ） (2024-09-11T05:55:51Z) - Scalable Neural Network Kernels [22.299704296356836]
我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。
また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。
我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
論文 参考訳（メタデータ） (2023-10-20T02:12:56Z) - Decoupling multivariate functions using a nonparametric filtered tensor
decomposition [0.29360071145551075]
疎結合技術は、非線形性の代替表現を提供することを目的としている。
いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。
本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-23T09:34:17Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。