論文の概要: PruneFuse: Efficient Data Selection via Weight Pruning and Network Fusion

• arxiv url: http://arxiv.org/abs/2603.26138v1
• Date: Fri, 27 Mar 2026 07:46:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.391859
• Title: PruneFuse: Efficient Data Selection via Weight Pruning and Network Fusion
• Title（参考訳）: PruneFuse: 重み付けとネットワーク融合による効率的なデータ選択
• Authors: Humaira Kousar, Hasnain Irshad Bhatti, Jaekyun Moon,
• Abstract要約: PruneFuseは、データ選択のために刈り取られたネットワークを利用し、後にトレーニングを最適化するために元のネットワークと融合する新しい戦略である。 PruneFuseは,データ選択の計算コストを大幅に削減し,ベースラインよりも優れた性能を実現し,トレーニングプロセス全体の高速化を実現する。
• 参考スコア（独自算出の注目度）: 12.775838367151842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient data selection is crucial for enhancing the training efficiency of deep neural networks and minimizing annotation requirements. Traditional methods often face high computational costs, limiting their scalability and practical use. We introduce PruneFuse, a novel strategy that leverages pruned networks for data selection and later fuses them with the original network to optimize training. PruneFuse operates in two stages: First, it applies structured pruning to create a smaller pruned network that, due to its structural coherence with the original network, is well-suited for the data selection task. This small network is then trained and selects the most informative samples from the dataset. Second, the trained pruned network is seamlessly fused with the original network. This integration leverages the insights gained during the training of the pruned network to facilitate the learning process of the fused network while leaving room for the network to discover more robust solutions. Extensive experimentation on various datasets demonstrates that PruneFuse significantly reduces computational costs for data selection, achieves better performance than baselines, and accelerates the overall training process.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニング効率の向上とアノテーション要件の最小化には,効率的なデータ選択が不可欠だ。 伝統的な手法は、しばしば高い計算コストに直面し、スケーラビリティと実用性を制限する。 PruneFuseは、データ選択にプルーンドネットワークを利用し、後にトレーニングを最適化するために元のネットワークと融合する新しい戦略である。 PruneFuseは2つの段階で動作する: まず、構造化プルーニングを適用してより小さなプルーニングネットワークを作成する。 この小さなネットワークはトレーニングされ、データセットから最も情報に富んだサンプルを選択する。 第二に、訓練された刈り取られたネットワークは、元のネットワークとシームレスに融合する。 この統合は、刈り取られたネットワークのトレーニング中に得られた洞察を活用して、融合されたネットワークの学習プロセスを容易にし、ネットワークがより堅牢なソリューションを見つける余地を残します。 さまざまなデータセットに対する大規模な実験により、PruneFuseはデータ選択の計算コストを大幅に削減し、ベースラインよりも優れたパフォーマンスを実現し、全体的なトレーニングプロセスを加速することが示された。

関連論文リスト

• Pruning-based Data Selection and Network Fusion for Efficient Deep Learning [13.900633576526863]
  PruneFuseは、プルーニングとネットワーク融合を組み合わせてデータ選択を強化し、トレーニングを加速する新しい方法である。 PruneFuseでは、元の高密度ネットワークをプルーニングして、データセットから最も情報性の高いサンプルを効率的に選択する、より小さなサロゲートモデルを生成する。
  論文  参考訳（メタデータ） (2025-01-02T07:35:53Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Convolutional Network Fabric Pruning With Label Noise [0.0]
  本稿では,コンボリューショナル・ネットワーク・ファブリック(CNF)に対して,ノイズの多いトレーニングやテストデータの存在下で反復的プルーニング戦略を提案する。 固有の構造と機能のため、畳み込みネットワークファブリックは刈り込みの理想的な候補である。
  論文  参考訳（メタデータ） (2022-02-15T09:24:08Z)
• An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network [0.0]
  近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。 ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。 プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
  論文  参考訳（メタデータ） (2021-12-15T16:02:15Z)
• How much pre-training is enough to discover a good subnetwork? [10.699603774240853]
  刈り取られたネットワークが正常に動作するために必要となる高密度ネットワーク事前学習の量を数学的に解析する。 2層全接続ネットワーク上での勾配降下事前学習の回数の単純な理論的境界を求める。 より大きなデータセットでの実験では、プルーニングによって得られた事前トレーニングのフォアワークがうまく機能するために必要になる。
  論文  参考訳（メタデータ） (2021-07-31T15:08:36Z)
• Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer [61.85316480370141]
  我々は、訓練された大規模ネットワークからコンパクトネットワークへの知識の伝達により、データフリーな量子化とプルーニングを研究する。 データフリーなコンパクトネットワークは、トレーニングデータで訓練され、微調整されたネットワークに対して、競争精度を達成する。
  論文  参考訳（メタデータ） (2020-10-14T18:02:55Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Energy-efficient and Robust Cumulative Training with Net2Net Transformation [2.4283778735260686]
  本研究では,精度の低下を招くことなく,計算効率のトレーニングを実現する累積学習戦略を提案する。 まず、元のデータセットの小さなサブセット上で小さなネットワークをトレーニングし、その後徐々にネットワークを拡張します。 実験により、スクラッチからのトレーニングと比較すると、累積的なトレーニングは計算複雑性を2倍に減らすことが示された。
  論文  参考訳（メタデータ） (2020-03-02T21:44:47Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。