論文の概要: Change-of-Basis Pruning via Rotational Invariance

• arxiv url: http://arxiv.org/abs/2511.16061v1
• Date: Thu, 20 Nov 2025 05:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.483315
• Title: Change-of-Basis Pruning via Rotational Invariance
• Title（参考訳）: 回転不変性によるボアシスプルーニングの変化
• Authors: Alex Ning, Vainateya Rangaraju,
• Abstract要約: 余分なパラメータを伴わずに、CoB変換を周囲の重みにマージできる2サブスペースアクティベーション(TSRA)を導入する。 この研究は、回転不変設計がベーシ・プルーニングの変化に対する原則的なアプローチを提供するかもしれないという概念実証である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning removes entire neurons or channels, but its effectiveness depends on how importance is distributed across the representation space. Change-of-basis (CoB) pruning addresses this challenge by applying orthogonal linear transformations that concentrate importance within certain dimensions. However, many standard deep learning architectures are not inherently invariant to such transformations. To enable compatibility, we introduce two-subspace radial activations (TSRAs): an activation family that is invariant to orthogonal linear transformations applied independently within its two activation subspaces. This invariance allows CoB transformations to be merged into surrounding weights without incurring extra parameters. We position this work as a proof-of-concept that a rotationally invariant design may offer a principled approach towards change-of-basis pruning. We do not provide an analysis of multiple TSRA candidates nor do we explore weight initialization for any TSRAs. These limitations, combined with other necessary modifications we make to permit rotational invariance, result in a slight accuracy drop of $4.52\%$ compared to a ReLU-based control. However, using activation-magnitude importance, VGG-16 implementing our CoB+TSRA framework shows encouraging results on CIFAR-10. Under fixed-ratio structured pruning, CoB improves accuracy over a TSRA baseline at all pruning ratios and extends reliable pruning frontier from roughly $30\%$ to $70\%$ of parameters without post-prune fine tuning. Under threshold-based pruning strategies, CoB prunes $90-96\%$ of parameters while maintaining $1-6\%$ accuracy drop after fine-tuning. Together, these results indicate that rotationally invariant architectures may offer a promising path towards CoB pruning.
• Abstract（参考訳）: 構造化プルーニングは神経細胞やチャネル全体を除去するが、その効果は表現空間に分散する重要性に依存する。 Change-of-Basis (CoB) プルーニングは、ある次元において重要性を集中する直交線型変換を適用することでこの問題に対処する。 しかし、多くの標準的なディープラーニングアーキテクチャは、そのような変換に本質的に不変ではない。 互換性を実現するために,2つの活性化部分空間に独立して適用される直交線形変換に不変な活性化系である2サブスペースラジアルアクティベーション(TSRA)を導入する。 この不変性により、余分なパラメータを伴わずにCoB変換を周囲の重みにマージすることができる。 我々はこの研究を、回転不変設計がベーシ・プルーニングへの原則的なアプローチを提供するという概念実証として位置づけている。 我々は、複数のTSRA候補の分析も、TSRAの重量初期化も行わない。 これらの制限は、回転不変性を許容する他の必要な修正と相まって、ReLUベースの制御と比較してわずかに4.52\%の精度低下をもたらす。 しかし, アクティベーション・マグニチュードの重要性から, 当社のCoB+TSRAフレームワークを実装したVGG-16は, CIFAR-10の促進効果を示した。 固定比構造プルーニングの下では、CoBは全プルーニング比でTSRAベースラインの精度を改善し、信頼性の高いプルーニングフロンティアを、プルーニング後の微調整なしで約30 %から70 %まで拡張する。 しきい値ベースのプルーニング戦略の下では、CoBは90-96\%のパラメータをプルーフし、微調整後に1-6\%の精度低下を維持している。 これらの結果から, 回転不変アーキテクチャがCoBプルーニングへの有望な経路を提供する可能性が示唆された。

関連論文リスト

• Multivariate Variational Autoencoder [0.08460698440162889]
  斜め後部制限を持ち上げながらガウス的トラクタビリティを保ったVAE変異体を提案する。 MVAEは後続の共分散を分解し、そこでは共役結合行列$mathbfC$がデータセット全体の潜在相関を誘導する。 公正な比較と再利用を容易にするために、トレーニング/評価スクリプトとスイープユーティリティを備えた、完全に再現可能な実装をリリースする。
  論文  参考訳（メタデータ） (2025-11-08T16:52:53Z)
• Geometrically Constrained and Token-Based Probabilistic Spatial Transformers [5.437226012505534]
  我々は、トランスフォーマーベースのビジョンパイプラインの標準化ツールとして、空間トランスフォーマーネットワーク(STN)を再考する。 本稿では、堅牢性を向上させる確率的、コンポーネントワイドな拡張を提案する。 本手法が他のSTNと比較して頑健さを常に向上することを示す。
  論文  参考訳（メタデータ） (2025-09-14T11:30:53Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• ADMM Based Semi-Structured Pattern Pruning Framework For Transformer [4.02487511510606]
  本稿では,アクティベーションマップの分布を再構成する,ADMM(Alternating Direction Method of Multipliers)に基づくパターン解析フレームワークを提案する。 GLUEデータセット上の分類タスクについて広範な実験を行った。 GLUEデータセットの総合スコア80.1を維持しながら圧縮率50%を達成した。
  論文  参考訳（メタデータ） (2024-07-11T09:35:08Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms [59.8188496313214]
  半帯域 (CMAB) について検討し, 半帯域 (CMAB) におけるバッチサイズ (K$) の依存性の低減に着目した。 まず,確率的に引き起こされるアーム(CMAB-T)を用いたCMABの設定に対して,分散を考慮した信頼区間を持つBCUCB-Tアルゴリズムを提案する。 次に,独立アームを用いた非トリガ型CMABの設定に対して,TPVM条件の非トリガ型を利用したSESCBアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-31T13:09:39Z)
• Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
  SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。 この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。 我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
  論文  参考訳（メタデータ） (2022-02-02T11:58:56Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Demystifying Inductive Biases for $\beta$-VAE Based Architectures [19.53632220171481]
  私たちは、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てました。 古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
  論文  参考訳（メタデータ） (2021-02-12T23:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。