論文の概要: GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression

• arxiv url: http://arxiv.org/abs/2609.25963v1
• Date: Tue, 22 Sep 2026 10:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.317876
• Title: GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
• Title（参考訳）: GeoPair: トレーニングフリー変圧器圧縮のための幾何保存クロスレイヤ因子化
• Abstract要約: トランスフォーマーは層間冗長性を示すが、トレーニング後の圧縮パイプラインは通常、分離された層を最適化する。 本稿では,階層間重みペアリングと共有次元分解を逐次最適化する,原則付き学習自由フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.169279749868568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer architectures exhibit cross-layer redundancies, yet post-training compression pipelines typically optimize layers in isolation or rely on heuristic grouping strategies that disregard layer-specific activation geometries. We introduce a principled, training-free framework that sequentially optimizes cross-layer weight pairings and shared-dictionary factorizations. Rather than forcing weights of adjacent layers to share a basis or heuristically merging activation statistics, our approach identifies structurally compatible projections and learns a shared representation that better preserves each layer's distinct calibration geometry. Coupled with structured sparsity, this yields highly efficient weight decompositions without sacrificing functional fidelity. Across diverse architectures, scales, and modalities, our method achieves state-of-the-art results, consistently outperforming independent structured weight decompositions and alternative pairwise weight factorizations, which operate under heuristic grouping strategies. By replacing heuristic engineering strategies with a convergent, optimization-driven pipeline, we establish a theoretically grounded foundation for scalable, transformer compression across different modalities.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、層間の冗長性を示すが、訓練後の圧縮パイプラインは通常、分離された層を最適化するか、層固有のアクティベーションジオメトリを無視したヒューリスティックなグループ化戦略に依存している。 本稿では、階層間重みペアリングと共有次元分解を逐次最適化する、原則付き、トレーニング不要なフレームワークを提案する。 本手法では, 隣接層の重み付けを基本値の共有や重み付けを強制するのではなく, 構造的に整合性のある射影を同定し, 各層のキャリブレーション幾何をよりよく保存する共有表現を学習する。 構造的疎度と組み合わせることで、機能的忠実さを犠牲にすることなく、高効率な重量分解が得られる。 提案手法は,多種多様なアーキテクチャ,スケール,モダリティにまたがって,一貫した独立な構造的重み分解や,ヒューリスティックなグループ化戦略の下で機能する代替的な一対の重み分解よりも優れた結果が得られる。 ヒューリスティックなエンジニアリング戦略を収束した最適化駆動パイプラインに置き換えることで、異なるモードにわたるスケーラブルでトランスフォーマー圧縮の理論的基盤を確立する。

関連論文リスト

• Scalable Kronecker-Fisher Approximation: Efficient Hessian Analysis for Billion-Parameter Language Models Compression [1.2343981093497332]
  我々は、フィッシャー行列全体を格納することなく、層間相互作用をキャプチャするスケーラブルなクロネッカー近似を提案する。 我々のフレームワークは、大規模モデルにおける脆弱なコンポーネントを識別するための実用的で理論的に基盤化されたツールを提供する。
  論文  参考訳（メタデータ） (2026-09-02T11:17:52Z)
• Incremental Transformer for Surrogate-Based Inverse Design of Geopolymer Mixtures [0.0]
  本研究では,物理制約された逆設計のためのインクリメンタルトランスフォーマー(INCRT)でガイドされるトポロジ対応サロゲートフレームワークを提案する。 この方法は、内在次元解析、混合変数設計空間表現、INCRTに基づく多様体合理化、制約付き逆最適化を統合する。
  論文  参考訳（メタデータ） (2026-07-12T19:52:22Z)
• T-GINEE: A Tensor-Based Multilayer Graph Representation Learning [50.294562905744215]
  T-GINEEは、テンソルに基づく一般化された推定方程式とタスク固有の損失を組み合わせた統計正規化フレームワークである。 我々の理論的分析は、穏やかな条件下での一貫性と正規性を確立する。 合成および実世界のデータセットに関する大規模な実験は、T-GINEEが多層ネットワーク解析に有効であることを検証する。
  論文  参考訳（メタデータ） (2026-05-27T10:51:29Z)
• Fast Tensorization of Neural Networks via Slice-wise Feature Distillation [0.0]
  本稿ではスライスワイズ特性蒸留に基づくニューラルネットワーク圧縮のためのスケーラブルなテンソル化フレームワークを提案する。 従来の大域的テンソル化よりも顕著に向上し,中程度の圧縮速度でほぼロスレス圧縮を実現した。 GPT-2 XLの結果はさらに,本手法のスケーラビリティと大規模モデルへの適用性を実証した。
  論文  参考訳（メタデータ） (2026-05-19T13:37:53Z)
• From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
  パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。 分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
  論文  参考訳（メタデータ） (2025-11-29T08:40:58Z)
• IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization [38.16787019088681]
  本稿では,フィルタとアーキテクチャの両レベルでの冗長性に対処するニューラルネットワーク圧縮に対する新しいアプローチを提案する。 我々は,テンソルフローの分散という概念に基づいて,情報をネットワーク層間でどのように変換するかを定量化する。
  論文  参考訳（メタデータ） (2025-11-25T10:02:21Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Geometry-aware training of factorized layers in tensor Tucker format [6.701651480567394]
  重みテンソルのタッカー分解の要因を学習するための新しい手法を提案する。 トレーニングの提案は, 元の非リファクタリング力学を局所的に近似する上で最適であることが証明された。 本稿では,アルゴリズムの理論解析を行い,収束,近似,局所降下保証を示す。
  論文  参考訳（メタデータ） (2023-05-30T14:20:51Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Inter-layer Transition in Neural Architecture Search [89.00449751022771]
  本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。 5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-30T03:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。