論文の概要: Two-Stage Clipping: Linear-Time Approximate and Exact Mixed-Norm Projections for Transformers

• arxiv url: http://arxiv.org/abs/2610.38598v1
• Date: Wed, 28 Oct 2026 10:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.394289
• Title: Two-Stage Clipping: Linear-Time Approximate and Exact Mixed-Norm Projections for Transformers
• Title（参考訳）: 2段階クリッピング:変圧器の線形時間近似と実混合ノルム射影
• Abstract要約: 二段階計算(TSC)は二段階最適化にインスパイアされた効率的な構造空間分割演算子である。 TSC法の複雑さは$O(n2)$であり、行列係数の数で線形であることを示す。
• 参考スコア（独自算出の注目度）: 2.2917707112773593
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) based on Transformer architectures have achieved remarkable performance across artificial intelligence tasks, but their computational cost remains a major bottleneck. Structured sparsification provides a promising approach to reducing this cost. In particular, $\ell_{1,\infty}$ projections can induce column-wise sparsity in model matrices, but existing proximal methods (Prox) typically require $\mathcal{O}(nm\log(nm))$ operations for matrices in $\mathbb{R}^{n\times m}$, limiting their computational and energy efficiency. In this paper, we introduce Two-Stage Clipping (TSC), an efficient structured sparsification operator inspired by bilevel optimization. Rather than solving a bilevel optimization problem in the strict sense, TSC decomposes the computation into two successive stages. First, group-level quantities are projected to allocate the global sparsity budget and identify active groups. Second, the resulting values are used as group-wise clipping thresholds for the matrix coefficients. For square attention matrices ($n \times n$), the complexity of our TSC method is $O(n^2)$, which is linear in the number of matrix coefficients. We establish a theoretical bound on the discrepancy between TSC and the exact proximal projection and show on synthetic data that the additional Euclidean approximation cost remains small in practice. Extensive benchmarks demonstrate substantial runtime improvements over proximal baselines and validate the theoretical norm identities underlying the proposed construction.
• Abstract（参考訳）: トランスフォーマーアーキテクチャに基づく大規模言語モデル (LLM) は、人工知能タスク全体にわたって顕著なパフォーマンスを達成しているが、その計算コストは依然として大きなボトルネックとなっている。 構造的なスパーシフィケーションは、このコストを削減するための有望なアプローチを提供する。 特に、$\ell_{1,\infty}$プロジェクションはモデル行列のカラムワイドな間隔を誘導することができるが、既存の近似法(Prox)は通常、$\mathcal{O}(nm\log(nm))$演算を$\mathbb{R}^{n\times m}$で必要とし、計算とエネルギー効率を制限している。 本稿では,2段階最適化にインスパイアされた効率的に構成されたスペア化演算子である2段階クリッピング(TSC)を提案する。 厳密な意味での双レベル最適化問題を解くのではなく、TSCは計算を2段階に分解する。 まず、グローバルなスパシティ予算を割り当て、アクティブなグループを特定するために、グループレベルの量を予測する。 第二に、結果の値は行列係数の群ワイドクリッピングしきい値として使用される。 平方アテンション行列(n \times n$)については、TSC法の複雑さは$O(n^2)$であり、行列係数の数で線形である。 我々は,TSCと正確な近近射影との相違点を理論的に定め,ユークリッド近似の付加コストが実際は小さいことを示す。 広範囲なベンチマークでは、近位ベースラインよりも大幅に改善され、提案された構築の基礎となる理論的なノルムのアイデンティティが検証された。

関連論文リスト

• Quantum Eigenvalue Transformation via Linear Combination of Hamiltonian Simulation: A Weyl Calculus Approach [13.252368760346265]
  ハミルトニアンシミュレーション(LCHS)の線形結合は、量子コンピュータ上で行列指数を$e-tA$で実装する効率的な方法を提供する。 一般行列関数が$f(A)$の場合、$f$は$A$の数値範囲で解析的であり、$A$はおそらく非正規である。 我々の構成は、最適な$mathcalO(logfrac1)$クエリ複雑性スケーリングを備えた量子固有値変換アルゴリズムを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:37:46Z)
• Block encoding of sparse matrices with a periodic diagonal structure [67.45502291821956]
  周期的な対角構造を持つスパース行列を符号化するための明示的な量子回路を提供する。 本手法の様々な応用は, 微分問題を解く文脈で論じる。
  論文  参考訳（メタデータ） (2026-02-11T07:24:33Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Efficient Network Automatic Relevance Determination [30.611086842690426]
  Network Automatic Relevance determined (NARD)は、線形確率モデルのためのARDの拡張である。 NARD は mathbb Rd 倍 N$ の入力のスパース関係を同時にモデル化し、mathbb Rm 倍 N$ の入力の $Y を出力する。
  論文  参考訳（メタデータ） (2025-06-14T05:20:25Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• Efficient Matrix-Free Approximations of Second-Order Information, with Applications to Pruning and Optimization [16.96639526117016]
  Inverse-Hessian Vector Products (IHVPs) の行列のない線形時間アプローチについて検討する。 これらのアルゴリズムは、既存の2階法と比較して計算オーバーヘッドが低いネットワークプルーニングと最適化の最先端結果をもたらす。
  論文  参考訳（メタデータ） (2021-07-07T17:01:34Z)
• Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
  我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。 本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。