論文の概要: Optimal Brain Connection: Towards Efficient Structural Pruning

• arxiv url: http://arxiv.org/abs/2508.05521v1
• Date: Thu, 07 Aug 2025 15:51:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.943755
• Title: Optimal Brain Connection: Towards Efficient Structural Pruning
• Title（参考訳）: 最適脳接続 : 効率的な構造解析を目指して
• Authors: Shaowu Chen, Wei Ma, Binhua Huang, Qingyuan Wang, Guoxin Wang, Weize Sun, Lei Huang, Deepu John,
• Abstract要約: 本稿では,構造パラメータの正当性を評価するための1次計量であるJacobian Criterionを紹介する。 第2に、オートエンコーダを用いて元の接続のコントリビューションを保持する等価プルーニング機構を提案する。 実験の結果、ヤコビアン基準はモデル性能の保存においていくつかの一般的な指標より優れていた。
• 参考スコア（独自算出の注目度）: 14.809537094760428
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Structural pruning has been widely studied for its effectiveness in compressing neural networks. However, existing methods often neglect the interconnections among parameters. To address this limitation, this paper proposes a structural pruning framework termed Optimal Brain Connection. First, we introduce the Jacobian Criterion, a first-order metric for evaluating the saliency of structural parameters. Unlike existing first-order methods that assess parameters in isolation, our criterion explicitly captures both intra-component interactions and inter-layer dependencies. Second, we propose the Equivalent Pruning mechanism, which utilizes autoencoders to retain the contributions of all original connection--including pruned ones--during fine-tuning. Experimental results demonstrate that the Jacobian Criterion outperforms several popular metrics in preserving model performance, while the Equivalent Pruning mechanism effectively mitigates performance degradation after fine-tuning. Code: https://github.com/ShaowuChen/Optimal_Brain_Connection
• Abstract（参考訳）: ニューラルネットワークの圧縮効果について、構造解析が広く研究されている。 しかし、既存の手法はパラメータ間の相互接続を無視することが多い。 この制限に対処するため,本研究では,最適脳接続と呼ばれる構造解析フレームワークを提案する。 まず、構造パラメータの正当性を評価する1次計量であるJacobian Criterionを紹介する。 パラメータを独立に評価する既存の一階法とは異なり、我々の基準はコンポーネント間相互作用と層間依存関係の両方を明示的にキャプチャする。 第2に,オートエンコーダを用いた等価プルーニング機構を提案する。 実験結果から,ヤコビアン基準はモデル性能の保存においていくつかの一般的な指標よりも優れており,等価プルーニング機構は微調整後の性能劣化を効果的に軽減することが示された。 コード:https://github.com/ShaowuChen/Optimal_Brain_Connection

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Revisiting Prefix-tuning: Statistical Benefits of Reparameterization among Prompts [36.88984387787463]
  本研究では,大規模事前学習モデルの微調整のためのプロンプトベース手法の理論的基礎について検討する。 再パラメータ化は単なる工学的トリックではなく、深い理論的基礎に根ざしていることを示す。 本研究は,プロンプトベース手法の理解を深める上で,理論的および経験的貢献を提供するものである。
  論文  参考訳（メタデータ） (2024-10-03T04:30:24Z)
• A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization [19.351804144005744]
  ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。 新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。 ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
  論文  参考訳（メタデータ） (2024-01-19T21:11:32Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• ThinResNet: A New Baseline for Structured Convolutional Networks Pruning [1.90298817989995]
  プルーニング(Pruning)は、ニューラルネットワークのパラメータ数を減らして効率を向上させる圧縮手法である。 本研究では,最先端のトレーニング手法と自明なモデルスケーリングを併用したネットワークに対して,最近のプルーニングの成果が如何に保たれているかを検証する。
  論文  参考訳（メタデータ） (2023-09-22T13:28:18Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Data-Efficient Structured Pruning via Submodular Optimization [32.574190896543705]
  部分モジュラ最適化に基づくデータ効率の高い構造化プルーニング手法を提案する。 この選択問題は弱い部分モジュラー問題であり、効率的なグリードアルゴリズムを用いて証明可能な近似が可能であることを示す。 本手法は,限られた数のトレーニングデータのみを使用し,ラベルを含まない文献の中では数少ない手法の一つである。
  論文  参考訳（メタデータ） (2022-03-09T18:40:29Z)
• Parameter Tuning Strategies for Metaheuristic Methods Applied to Discrete Optimization of Structural Design [0.0]
  本稿では, 鉄筋コンクリート(RC)構造物の設計最適化のためのメタヒューリスティック手法のパラメータを調整するためのいくつかの手法を提案する。 平均性能曲線の下での面積に基づいて, 実用性指標を提案する。
  論文  参考訳（メタデータ） (2021-10-12T17:34:39Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。