論文の概要: Neural Network Pruning via QUBO Optimization

• arxiv url: http://arxiv.org/abs/2604.05856v1
• Date: Tue, 07 Apr 2026 13:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.849036
• Title: Neural Network Pruning via QUBO Optimization
• Title（参考訳）: QUBO最適化によるニューラルネットワークのプルーニング
• Abstract要約: グローバル最適化による推定の重要性を橋渡しするハイブリッドQUBOフレームワークを提案する。 本定式化では,2次項におけるデータ駆動的類似性を活用しながら,勾配認識感度指標を線形項に統合する。 SIDD画像復調データセットの実験では、提案されたハイブリッドQUBOは、グリーディ・テイラープルーニングと従来のL1ベースのQUBOの両方で著しく優れていた。
• 参考スコア（独自算出の注目度）: 0.08796261172196741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning can be formulated as a combinatorial optimization problem, yet most existing approaches rely on greedy heuristics that ignore complex interactions between filters. Formal optimization methods such as Quadratic Unconstrained Binary Optimization (QUBO) provide a principled alternative but have so far underperformed due to oversimplified objective formulations based on metrics like the L1-norm. In this work, we propose a unified Hybrid QUBO framework that bridges heuristic importance estimation with global combinatorial optimization. Our formulation integrates gradient-aware sensitivity metrics - specifically first-order Taylor and second-order Fisher information - into the linear term, while utilizing data-driven activation similarity in the quadratic term. This allows the QUBO objective to jointly capture individual filter relevance and inter-filter functional redundancy. We further introduce a dynamic capacity-driven search to strictly enforce target sparsity without distorting the optimization landscape. Finally, we employ a two-stage pipeline featuring a Tensor-Train (TT) Refinement stage - a gradient-free optimizer that fine-tunes the QUBO-derived solution directly against the true evaluation metric. Experiments on the SIDD image denoising dataset demonstrate that the proposed Hybrid QUBO significantly outperforms both greedy Taylor pruning and traditional L1-based QUBO, with TT Refinement providing further consistent gains at appropriate combinatorial scales. This highlights the potential of hybrid combinatorial formulations for robust, scalable, and interpretable neural network compression.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは組合せ最適化問題として定式化することができるが、既存のほとんどのアプローチは、フィルタ間の複雑な相互作用を無視する欲求的ヒューリスティックに依存している。 二次非拘束バイナリ最適化(QUBO)のような形式的最適化手法は、原則的な代替手段を提供するが、L1-ノルムのようなメトリクスに基づく過度に単純化された客観的な定式化のため、これまでは性能が低かった。 本研究では,大域的組合せ最適化によるヒューリスティックな重要度推定を橋渡しするハイブリッドQUBOフレームワークを提案する。 本定式化では,2次項におけるデータ駆動のアクティベーション類似性を生かしながら,勾配を考慮した感度指標(特に1次テイラー情報と2次フィッシャー情報)を線形項に統合する。 これにより、QUBOの目的は、個々のフィルタ関連性とフィルタ間の機能的冗長性を共同でキャプチャできる。 さらに、最適化景観を歪ませることなく、ターゲット空間を厳格に強制する動的キャパシティ駆動探索を導入する。 最後に,TT(Tensor-Train Refinement)ステージを備えた2段階のパイプラインを用いて,QUBO由来のソリューションを真の評価基準に対して直接微調整する勾配のないオプティマイザを提案する。 SIDD画像復調データセットの実験により、提案されたハイブリッドQUBOは、グリーディ・テイラープルーニングと従来のL1ベースのQUBOの両方を著しく上回り、TTリファインメントは適切な組合せスケールでさらに一貫した利得を提供することを示した。 このことは、堅牢でスケーラブルで解釈可能なニューラルネットワーク圧縮のためのハイブリッド組合せの定式化の可能性を強調している。

関連論文リスト

• DRAFTO: Decoupled Reduced-space and Adaptive Feasibility-repair Trajectory Optimization for Robotic Manipulators [4.0407133618465005]
  本稿では、トラジェクトリ最適化のための新しいアルゴリズム、Decoupled Reduced-spaceとAdaptive Feasibility-Repair Trajectory Optimization (DRAFTO)を提案する。 連立限界実現性を扱いながら繰り返し制約された最適化の回数を減らすため、最適化を低空間ガウスニュートン(Gass-Newton, GN)降下に分離する。 CHOMP, TrajOpt, GPMP2, FACTOなどの最適化型プランナに対するベンチマークテストの結果, 様々なシナリオやタスクにおいて高い効率性と信頼性が検証された。
  論文  参考訳（メタデータ） (2026-03-10T20:24:42Z)
• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization [66.08522228989634]
  非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
  論文  参考訳（メタデータ） (2025-11-18T17:51:17Z)
• Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization [13.97375970293678]
  DPO(Direct Preference Optimization)は、その単純さと訓練安定性から、オフライン優先最適化アルゴリズムとして広く使われている。 3つの重要なイノベーションを特徴とする新しいアライメントフレームワークであるLinear Preference Optimization (LPO)を提案する。 まず,対数シグモイド関数を絶対差分損失に置き換え,最適化力学を分離することで勾配デカップリングを導入する。 第2に、選択された応答品質を維持するために、オフセット制約と正の正則化項を組み合わせることで安定性を向上させる。 第3に、直感的な推定を伴う勾配分離と、その相対確率の降下を線形に制御する調整可能な係数を用いて、制御可能な拒絶抑制を実装した。
  論文  参考訳（メタデータ） (2025-08-20T10:17:29Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• A Gradient Meta-Learning Joint Optimization for Beamforming and Antenna Position in Pinching-Antenna Systems [63.213207442368294]
  マルチ導波路ピンチアンテナシステムの新しい最適化設計について検討する。 提案したGML-JOアルゴリズムは,既存の最適化手法と比較して,様々な選択や性能に頑健である。
  論文  参考訳（メタデータ） (2025-06-14T17:35:27Z)
• Proximal Oracles for Optimization and Sampling [18.77973093341588]
  非滑らかな目的関数による凸最適化と非滑らかなポテンシャルによる対数凹型サンプリングについて検討する。 非滑らか性による課題を克服するため、アルゴリズムは最適化とサンプリングに2つの強力な近位フレームワークを用いる。
  論文  参考訳（メタデータ） (2024-04-02T18:52:28Z)
• SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization [22.888876901031043]
  ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。 群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。 我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
  論文  参考訳（メタデータ） (2024-02-27T21:42:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。