論文の概要: Learnable Permutation for Structured Sparsity on Transformer Models

• arxiv url: http://arxiv.org/abs/2601.22980v1
• Date: Fri, 30 Jan 2026 13:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.478431
• Title: Learnable Permutation for Structured Sparsity on Transformer Models
• Title（参考訳）: 変圧器モデルにおける構造空間の学習可能な置換
• Authors: Zekai Li, Ji Liu, Guanchen Li, Yixing Xu, Ziqiong Liu, Xuanwu Yin, Dong Li, Emad Barsoum,
• Abstract要約: 構造的空間性は、一般的なモデルプルーニング技術として現れている。 重みの置換は、打ち切り後のパフォーマンスをさらに改善するための有望な方向である。 本稿では、新しいエンドツーエンドの学習可能な置換フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.777454274409912
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Structured sparsity has emerged as a popular model pruning technique, widely adopted in various architectures, including CNNs, Transformer models, and especially large language models (LLMs) in recent years. A promising direction to further improve post-pruning performance is weight permutation, which reorders model weights into patterns more amenable to pruning. However, the exponential growth of the permutation search space with the scale of Transformer architectures forces most methods to rely on greedy or heuristic algorithms, limiting the effectiveness of reordering. In this work, we propose a novel end-to-end learnable permutation framework. Our method introduces a learnable permutation cost matrix to quantify the cost of swapping any two input channels of a given weight matrix, a differentiable bipartite matching solver to obtain the optimal binary permutation matrix given a cost matrix, and a sparsity optimization loss function to directly optimize the permutation operator. We extensively validate our approach on vision and language Transformers, demonstrating that our method achieves state-of-the-art permutation results for structured sparsity.
• Abstract（参考訳）: CNN、トランスフォーマーモデル、特に大規模言語モデル(LLM)など、様々なアーキテクチャで広く採用されている。 プレニング後の性能をさらに向上させる有望な方向は重量置換であり、これはモデルの重みをプルーニングに適するパターンに並べ替えるものである。 しかし、Transformer アーキテクチャのスケールによる置換探索空間の指数関数的な成長は、ほとんどの手法を欲求的あるいはヒューリスティックなアルゴリズムに頼らざるを得ず、再順序付けの有効性を制限している。 本研究では,新しいエンドツーエンドの学習可能な置換フレームワークを提案する。 提案手法では,与えられた重み行列の任意の入力チャネルを交換するコストを定量化する学習可能な置換コスト行列と,コスト行列を与えられた最適二分置換行列を得るための微分可能な二分整合解器と,置換演算子を直接最適化するスパーシティ最適化損失関数を導入する。 我々は視覚と言語トランスフォーマーに対する我々のアプローチを広く検証し、構造化された空間に対する最先端の置換結果が得られたことを示す。

関連論文リスト

• REOrdering Patches Improves Vision Models [58.8295093799148]
  パッチ順序がそのような設定におけるモデル性能に大きく影響していることが示される。 本稿では,タスク最適パッチ順序を見つけるためのフレームワークであるREOrderを提案する。 Re Orderは、ImageNet-1K上の行マジョールの順序を最大3.01%改善し、世界の関数マップを13.35%改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:59:30Z)
• New Permutation Decomposition Techniques for Efficient Homomorphic Permutation [33.30918602217202]
  ホモモルフィックな置換は、バッチエンコーディングのホモモルフィック暗号に基づくプライバシ保存計算の基礎となる。 本稿では、同型暗号に基づくプライバシー保護計算を進化させ、同型置換を最適化する新しい分解手法を提案する。 従来の分解範囲から逸脱するネットワーク構造を設計し、最小回転鍵条件で最大1.69タイムの高速化で最先端技術より優れる。
  論文  参考訳（メタデータ） (2024-10-29T08:07:22Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Batch Bayesian Optimization on Permutations using Acquisition Weighted Kernels [86.11176756341114]
  決定点プロセスに基づく新しい効率的なバッチ取得方法であるLAWを紹介します。 本研究では,理論特性の知見を得るための後悔分析法を提案する。 二次代入などの置換を含むいくつかの標準問題に対する手法を評価する。
  論文  参考訳（メタデータ） (2021-02-26T10:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。