論文の概要: Neural Network Pruning via QUBO Optimization

• arxiv url: http://arxiv.org/abs/2604.05856v1
• Date: Tue, 07 Apr 2026 13:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.849036
• Title: Neural Network Pruning via QUBO Optimization
• Title（参考訳）: QUBO最適化によるニューラルネットワークのプルーニング
• Authors: Osama Orabi, Artur Zagitov, Hadi Salloum, Viktor A. Lobachev, Kasymkhan Khubiev, Yaroslav Kholodov,
• Abstract要約: グローバル最適化による推定の重要性を橋渡しするハイブリッドQUBOフレームワークを提案する。 本定式化では,2次項におけるデータ駆動的類似性を活用しながら,勾配認識感度指標を線形項に統合する。 SIDD画像復調データセットの実験では、提案されたハイブリッドQUBOは、グリーディ・テイラープルーニングと従来のL1ベースのQUBOの両方で著しく優れていた。
• 参考スコア（独自算出の注目度）: 0.08796261172196741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning can be formulated as a combinatorial optimization problem, yet most existing approaches rely on greedy heuristics that ignore complex interactions between filters. Formal optimization methods such as Quadratic Unconstrained Binary Optimization (QUBO) provide a principled alternative but have so far underperformed due to oversimplified objective formulations based on metrics like the L1-norm. In this work, we propose a unified Hybrid QUBO framework that bridges heuristic importance estimation with global combinatorial optimization. Our formulation integrates gradient-aware sensitivity metrics - specifically first-order Taylor and second-order Fisher information - into the linear term, while utilizing data-driven activation similarity in the quadratic term. This allows the QUBO objective to jointly capture individual filter relevance and inter-filter functional redundancy. We further introduce a dynamic capacity-driven search to strictly enforce target sparsity without distorting the optimization landscape. Finally, we employ a two-stage pipeline featuring a Tensor-Train (TT) Refinement stage - a gradient-free optimizer that fine-tunes the QUBO-derived solution directly against the true evaluation metric. Experiments on the SIDD image denoising dataset demonstrate that the proposed Hybrid QUBO significantly outperforms both greedy Taylor pruning and traditional L1-based QUBO, with TT Refinement providing further consistent gains at appropriate combinatorial scales. This highlights the potential of hybrid combinatorial formulations for robust, scalable, and interpretable neural network compression.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは組合せ最適化問題として定式化することができるが、既存のほとんどのアプローチは、フィルタ間の複雑な相互作用を無視する欲求的ヒューリスティックに依存している。 二次非拘束バイナリ最適化(QUBO)のような形式的最適化手法は、原則的な代替手段を提供するが、L1-ノルムのようなメトリクスに基づく過度に単純化された客観的な定式化のため、これまでは性能が低かった。 本研究では,大域的組合せ最適化によるヒューリスティックな重要度推定を橋渡しするハイブリッドQUBOフレームワークを提案する。 本定式化では,2次項におけるデータ駆動のアクティベーション類似性を生かしながら,勾配を考慮した感度指標(特に1次テイラー情報と2次フィッシャー情報)を線形項に統合する。 これにより、QUBOの目的は、個々のフィルタ関連性とフィルタ間の機能的冗長性を共同でキャプチャできる。 さらに、最適化景観を歪ませることなく、ターゲット空間を厳格に強制する動的キャパシティ駆動探索を導入する。 最後に,TT(Tensor-Train Refinement)ステージを備えた2段階のパイプラインを用いて,QUBO由来のソリューションを真の評価基準に対して直接微調整する勾配のないオプティマイザを提案する。 SIDD画像復調データセットの実験により、提案されたハイブリッドQUBOは、グリーディ・テイラープルーニングと従来のL1ベースのQUBOの両方を著しく上回り、TTリファインメントは適切な組合せスケールでさらに一貫した利得を提供することを示した。 このことは、堅牢でスケーラブルで解釈可能なニューラルネットワーク圧縮のためのハイブリッド組合せの定式化の可能性を強調している。

関連論文リスト

• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization [22.888876901031043]
  ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。 群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。 我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
  論文  参考訳（メタデータ） (2024-02-27T21:42:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。