Fugu-MT 論文翻訳(概要): Sigma-Branch: Hierarchical Single-Path Network Reconstruction for Dynamic Inference with Reduced Active Parameters

論文の概要: Sigma-Branch: Hierarchical Single-Path Network Reconstruction for Dynamic Inference with Reduced Active Parameters

arxiv url: http://arxiv.org/abs/2606.09924v1
Date: Sun, 07 Jun 2026 09:19:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-10 15:40:58.051455
Title: Sigma-Branch: Hierarchical Single-Path Network Reconstruction for Dynamic Inference with Reduced Active Parameters
Title（参考訳）: Sigma-Branch: アクティブパラメータを低減した動的推論のための階層型単一パスネットワーク再構成
Authors: Kohga Tanaka, Hiroaki Nishi,
Abstract要約: 本稿では,事前学習した高密度ネットワークを,共有バックボーン,階層ルータ,特殊葉からなる階層二分木に再構成するフレームワークを提案する。 CIFAR-100 / ResNet-50, ImageNet-1K / ResNet-50, ModelNet40 / PointNet++ 全体で、SigmaB-Net は高密度ベースライン Top-1 の 1.72 ポイント (pp) に留まりながら、参照毎のアクティブパラメータを58-60%削減する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Deploying deep neural networks on memory-constrained edge accelerators is bottlenecked by per-inference off-chip weight transfer rather than computation: the dense network cannot be retained on-chip, and every parameter must be loaded for every input. Existing model compression reduces this transfer only at the cost of permanent capacity loss. We propose Sigma-Branch (SigmaB), a framework that restructures a pretrained dense network into a hierarchical binary tree composed of a shared backbone, hierarchical routers, and specialized leaves. Pretrained weights are distributed across the tree via activation-based spherical k-means clustering, which jointly initializes router weights and per-branch channel allocations; soft-routing fine-tuning then aligns each leaf with its routed input subset. At inference, the resulting network executes only a single root-to-leaf path, reducing the active-parameter footprint while storing the complete dense parameter set in memory. Across CIFAR-100 / ResNet-50, ImageNet-1K / ResNet-50, and ModelNet40 / PointNet++, SigmaB-Net reduces per-inference active parameters by 58-60% while remaining within 1.72 percentage points (pp) of the dense baseline Top-1. At comparable ImageNet-1K Top-1, the active-parameter reduction exceeds static structured pruning (FPGM, HRank) by 14-23 pp. The cross-modal evaluation, spanning 2D vision and 3D point-cloud backbones, substantiates a framework-level claim that decouples per-inference memory traffic from the total parameter count.
Abstract（参考訳）: メモリ制約のあるエッジアクセラレータにディープニューラルネットワークをデプロイすることは、計算よりもチップ外重量移動の推論によってボトルネックとなる。既存のモデル圧縮は、この転送を恒久的な容量損失のコストで削減する。 Sigma-Branch (SigmaB) は、事前学習された高密度ネットワークを、共有バックボーン、階層ルータ、特殊葉からなる階層二分木に再構成するフレームワークである。事前の重み付けは、アクティベーションベースの球面k平均クラスタリングによってツリー全体に分散され、ルータの重み付けとブランチごとのチャネル割り当てを共同で初期化する。推論では、結果として得られるネットワークは1つのルート・ツー・リーフ・パスのみを実行し、メモリに設定された完全な高密度パラメータを格納しながら、アクティブ・パラメータのフットプリントを減少させる。 CIFAR-100 / ResNet-50, ImageNet-1K / ResNet-50, ModelNet40 / PointNet++ 全体で、SigmaB-Net は高密度ベースライン Top-1 の 1.72 ポイント (pp) に留まりながら、参照毎のアクティブパラメータを58-60%削減する。 ImageNet-1K Top-1では、アクティブパラメータの減少は静的な構造化プルーニング(FPGM, HRank)よりも14-23 pp。 2Dビジョンと3Dポイントクラウドバックボーンにまたがるクロスモーダル評価は、参照メモリ当たりのトラフィックを合計パラメータ数から切り離すというフレームワークレベルの主張を裏付けるものだ。

関連論文リスト

Progressive Supernet Training for Efficient Visual Autoregressive Modeling [56.15415456746672]
本稿では,パラダイムとフルネットワークの両方の世代品質のフロンティアを突破するトレーニング戦略を提案する。 ImageNetの実験では、事前訓練されたVAR-d30、VARiant-d16、VARiant-d8と比べ、ほぼ同等の品質を実現している。 VARiant-d2は3.5倍のスピードアップと80%のメモリ削減を実現している。
論文参考訳（メタデータ） (2025-11-20T16:59:24Z)
Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration [1.3225694028747144]
本稿では,深層ニューラルネットワークのスリム化と高速化に有効なLAASP(Los-Aware Automatic Selection of Structured Pruning Criteria)を提案する。刈り取り訓練アプローチは第1段階を排除し、第2段階と第3段階を1サイクルに統合する。 CIFAR-10およびImageNetベンチマークデータセットにおけるVGGNetとResNetモデルの実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2025-06-25T06:18:46Z)
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文参考訳（メタデータ） (2021-09-21T09:57:21Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
論文参考訳（メタデータ） (2021-07-30T20:13:49Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文参考訳（メタデータ） (2020-11-29T12:51:16Z)
Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文参考訳（メタデータ） (2020-10-02T16:50:26Z)
Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文参考訳（メタデータ） (2020-08-08T13:32:33Z)
ThriftyNets : Convolutional Neural Networks with Tiny Parameter Budget [4.438259529250529]
我々はThriftyNetと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。 ThriftyNetでは、1つの畳み込み層のみが再帰的に定義され、最大パラメータの分解に繋がる。我々は、CIFAR-10で40K未満のパラメータで91%以上の精度で、CIFAR-100で74.3%のパラメータで600K未満のパラメータで競争性能を達成した。
論文参考訳（メタデータ） (2020-07-20T13:50:51Z)
DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。