論文の概要: Rethinking Parameter Sharing as Graph Coloring for Structured Compression

• arxiv url: http://arxiv.org/abs/2511.06786v1
• Date: Mon, 10 Nov 2025 07:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.133795
• Title: Rethinking Parameter Sharing as Graph Coloring for Structured Compression
• Title（参考訳）: 構造化圧縮のためのグラフカラー化としてのパラメータ共有の再考
• Authors: Boyang Zhang, Daning Cheng, Yunquan Zhang,
• Abstract要約: ジオシェアリング(Geo-Sharing)は、深層モデルにおける冗長性を減少させる構造化圧縮の一形態である。 モデルのパラメータ空間における構造対称性として,グループ理論の観点からパラメータ共有をリキャストする。 ヘッセンの低曲率固有部分空間に摂動を投影することにより、この基準は共有群を選択するための解析則を提供する。
• 参考スコア（独自算出の注目度）: 4.890400460873276
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep models have massive parameter sizes, leading to high inference-time memory usage that limits practical deployment. Parameter sharing, a form of structured compression, effectively reduces redundancy, but existing approaches remain heuristic-restricted to adjacent layers and lacking a systematic analysis for cross-layer sharing. However, extending sharing across multiple layers leads to an exponentially expanding configuration space, making exhaustive search computationally infeasible and forming a critical bottleneck for parameter sharing. We recast parameter sharing from a group-theoretic perspective as introducing structural symmetries in the model's parameter space. A sharing configuration can be described by a coloring function $\alpha:L\rightarrow C$ (L: layer indices and C: sharing classes), which determines inter-layer sharing groups while preserving structural symmetry. To determine the coloring function, we propose a second-order geometric criterion based on Taylor expansion and the Hessian spectrum. By projecting perturbations onto the Hessian's low-curvature eigensubspace, the criterion provides an analytic rule for selecting sharing groups that minimize performance impact, yielding a principled and scalable configuration procedure. Across diverse architectures and tasks, Geo-Sharing consistently outperforms state-of-the-art heuristic sharing strategies, achieving higher compression ratios with smaller accuracy degradation.
• Abstract（参考訳）: 現代のディープモデルはパラメータサイズが大きいため、推論時のメモリ使用量が多いため、実際のデプロイメントが制限される。 パラメータ共有は, 構造的圧縮の形式であり, 冗長性を効果的に低減するが, 既存の手法は, 隣接層に対してヒューリスティックに制限され, クロス層共有の体系的解析が欠如している。 しかし、複数の層にまたがる共有は指数関数的に拡大する構成空間につながり、網羅的な探索が不可能となり、パラメータ共有にとって重要なボトルネックとなる。 我々は、モデルパラメータ空間に構造対称性を導入するとして、グループ理論の観点からパラメータ共有をリキャストする。 共有構成は色付け関数 $\alpha:L\rightarrow C$ (L:層インデックスとC:共有クラス) で記述でき、構造対称性を維持しながら層間共有群を決定する。 カラー化関数を決定するために,テイラー展開とヘッセンスペクトルに基づく2階幾何学的基準を提案する。 ヘッセンの低曲率固有部分空間に摂動を投影することにより、この基準は、パフォーマンスへの影響を最小限に抑え、原則付きでスケーラブルな構成手順をもたらすグループを選択するための分析規則を提供する。 多様なアーキテクチャやタスクにまたがって、Geo-Sharingは最先端のヒューリスティックな共有戦略を一貫して上回り、より精度の低い圧縮比を達成する。

関連論文リスト

• ISCS: Parameter-Guided Channel Ordering and Grouping for Learned Image Compression [11.645256028223272]
  本稿では,事前学習したlicモデルにおいて重要なチャネルを特定し,整理するためのデータセットに依存しない手法を提案する。 提案手法は,再現性を維持しつつ計算を効果的に削減し,既存の学習圧縮フレームワークを実用的かつモジュール的に拡張する。
  論文  参考訳（メタデータ） (2025-09-21T00:44:15Z)
• Enhancing point cloud analysis via neighbor aggregation correction based on cross-stage structure correlation [22.48120946682699]
  ポイントクラウド分析は、ポイントクラウドデータの理解の基礎となるローカル構造を集約する多くの下流タスクの基盤となる。 本稿では,高次元空間における相関を利用してアグリゲーション中の特徴分布を補正する点分布集合抽象モジュール(PDSA)を提案する。 PDSAは、軽量なクロスステージ構造記述子に基づいて点相関を区別し、構造的均一性を高める。
  論文  参考訳（メタデータ） (2025-06-18T06:08:17Z)
• A General Error-Theoretical Analysis Framework for Constructing Compression Strategies [3.1316260533944007]
  本稿では,各層に対して最適な圧縮レベルを決定するための圧縮誤差理論(CET)フレームワークを提案する。 具体的には、ResNet-34モデルでは、CETはオリジナルのモデルに匹敵する性能を保ちながら、パラメータ圧縮の約11$times$を達成する。
  論文  参考訳（メタデータ） (2025-02-19T06:12:43Z)
• Random Sparse Lifts: Construction, Analysis and Convergence of finite sparse networks [17.487761710665968]
  本稿では,パラメータの数が増えると,勾配流による学習が任意に低損失に達するような,ニューラルネットワークの大規模クラスを定義する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-10T12:52:00Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
  生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。 ストレージの要求が大きいため、一般ユーザからは広く採用されていない。 本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-21T06:59:07Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Generalising Recursive Neural Models by Tensor Decomposition [12.069862650316262]
  テンソル型定式化を利用した構造文脈のモデルアグリゲーションに対する一般的なアプローチを提案する。 パラメータ空間の大きさの指数関数的成長は、タッカー分解に基づく近似によって制御できることを示す。 これにより、隠れたサイズ、計算複雑性、モデル一般化によって制御される符号化の表現性の間のトレードオフを効果的に制御できる。
  論文  参考訳（メタデータ） (2020-06-17T17:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。