論文の概要: Learnable Permutation for Structured Sparsity on Transformer Models

• arxiv url: http://arxiv.org/abs/2601.22980v1
• Date: Fri, 30 Jan 2026 13:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.478431
• Title: Learnable Permutation for Structured Sparsity on Transformer Models
• Title（参考訳）: 変圧器モデルにおける構造空間の学習可能な置換
• Authors: Zekai Li, Ji Liu, Guanchen Li, Yixing Xu, Ziqiong Liu, Xuanwu Yin, Dong Li, Emad Barsoum,
• Abstract要約: 構造的空間性は、一般的なモデルプルーニング技術として現れている。 重みの置換は、打ち切り後のパフォーマンスをさらに改善するための有望な方向である。 本稿では、新しいエンドツーエンドの学習可能な置換フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.777454274409912
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Structured sparsity has emerged as a popular model pruning technique, widely adopted in various architectures, including CNNs, Transformer models, and especially large language models (LLMs) in recent years. A promising direction to further improve post-pruning performance is weight permutation, which reorders model weights into patterns more amenable to pruning. However, the exponential growth of the permutation search space with the scale of Transformer architectures forces most methods to rely on greedy or heuristic algorithms, limiting the effectiveness of reordering. In this work, we propose a novel end-to-end learnable permutation framework. Our method introduces a learnable permutation cost matrix to quantify the cost of swapping any two input channels of a given weight matrix, a differentiable bipartite matching solver to obtain the optimal binary permutation matrix given a cost matrix, and a sparsity optimization loss function to directly optimize the permutation operator. We extensively validate our approach on vision and language Transformers, demonstrating that our method achieves state-of-the-art permutation results for structured sparsity.
• Abstract（参考訳）: CNN、トランスフォーマーモデル、特に大規模言語モデル(LLM)など、様々なアーキテクチャで広く採用されている。 プレニング後の性能をさらに向上させる有望な方向は重量置換であり、これはモデルの重みをプルーニングに適するパターンに並べ替えるものである。 しかし、Transformer アーキテクチャのスケールによる置換探索空間の指数関数的な成長は、ほとんどの手法を欲求的あるいはヒューリスティックなアルゴリズムに頼らざるを得ず、再順序付けの有効性を制限している。 本研究では,新しいエンドツーエンドの学習可能な置換フレームワークを提案する。 提案手法では,与えられた重み行列の任意の入力チャネルを交換するコストを定量化する学習可能な置換コスト行列と,コスト行列を与えられた最適二分置換行列を得るための微分可能な二分整合解器と,置換演算子を直接最適化するスパーシティ最適化損失関数を導入する。 我々は視覚と言語トランスフォーマーに対する我々のアプローチを広く検証し、構造化された空間に対する最先端の置換結果が得られたことを示す。

関連論文リスト

• PermLLM: Learnable Channel Permutation for N:M Sparse Large Language Models [44.32585496684303]
  チャネル置換はN:Mスパースモデルの精度を高めるための強力な手法である。 本稿では,学習可能なチャネル置換を導入したポストトレーニング・プルーニングフレームワークPermLLMを提案する。 我々は,N:Mスパースモデルの最適化において,PermLLMが優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-10-11T09:40:27Z)
• Structure As Search: Unsupervised Permutation Learning for Combinatorial Optimization [22.51828421737954]
  本稿では,トラベリングセールスマン問題に対する非自己回帰的枠組みを提案する。 ハミルトンサイクルに類似性変換を適用することにより、モデルは連続緩和を通じて置換を近似することを学ぶ。
  論文  参考訳（メタデータ） (2025-07-05T21:17:38Z)
• MatRL: Provably Generalizable Iterative Algorithm Discovery via Monte-Carlo Tree Search [37.24058519921229]
  MatRLは、行列関数を計算するための反復アルゴリズムを自動的に発見する強化学習フレームワークである。 そこで本研究では,MateRLが文献の様々なベースラインを上回るアルゴリズムを生成することを示す。
  論文  参考訳（メタデータ） (2025-07-04T22:57:33Z)
• REOrdering Patches Improves Vision Models [58.8295093799148]
  パッチ順序がそのような設定におけるモデル性能に大きく影響していることが示される。 本稿では,タスク最適パッチ順序を見つけるためのフレームワークであるREOrderを提案する。 Re Orderは、ImageNet-1K上の行マジョールの順序を最大3.01%改善し、世界の関数マップを13.35%改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:59:30Z)
• New Permutation Decomposition Techniques for Efficient Homomorphic Permutation [33.30918602217202]
  ホモモルフィックな置換は、バッチエンコーディングのホモモルフィック暗号に基づくプライバシ保存計算の基礎となる。 本稿では、同型暗号に基づくプライバシー保護計算を進化させ、同型置換を最適化する新しい分解手法を提案する。 従来の分解範囲から逸脱するネットワーク構造を設計し、最小回転鍵条件で最大1.69タイムの高速化で最先端技術より優れる。
  論文  参考訳（メタデータ） (2024-10-29T08:07:22Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Batch Bayesian Optimization on Permutations using Acquisition Weighted Kernels [86.11176756341114]
  決定点プロセスに基づく新しい効率的なバッチ取得方法であるLAWを紹介します。 本研究では,理論特性の知見を得るための後悔分析法を提案する。 二次代入などの置換を含むいくつかの標準問題に対する手法を評価する。
  論文  参考訳（メタデータ） (2021-02-26T10:15:57Z)
• Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix [57.11971786407279]
  マルチビュースペクトルクラスタリングは、データ間の固有のクラスタ構造を効果的に明らかにすることができる。 本稿では,高次最適近傍ラプラシア行列を学習するマルチビュースペクトルクラスタリングアルゴリズムを提案する。 提案アルゴリズムは, 1次ベースと高次ベースの両方の線形結合の近傍を探索し, 最適ラプラシア行列を生成する。
  論文  参考訳（メタデータ） (2020-08-31T12:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。