論文の概要: Pruning-based Data Selection and Network Fusion for Efficient Deep Learning

• arxiv url: http://arxiv.org/abs/2501.01118v1
• Date: Thu, 02 Jan 2025 07:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:08.683990
• Title: Pruning-based Data Selection and Network Fusion for Efficient Deep Learning
• Title（参考訳）: 効率的な深層学習のためのプランニングに基づくデータ選択とネットワーク融合
• Authors: Humaira Kousar, Hasnain Irshad Bhatti, Jaekyun Moon,
• Abstract要約: PruneFuseは、プルーニングとネットワーク融合を組み合わせてデータ選択を強化し、トレーニングを加速する新しい方法である。 PruneFuseでは、元の高密度ネットワークをプルーニングして、データセットから最も情報性の高いサンプルを効率的に選択する、より小さなサロゲートモデルを生成する。
• 参考スコア（独自算出の注目度）: 13.900633576526863
• License:
• Abstract: Efficient data selection is essential for improving the training efficiency of deep neural networks and reducing the associated annotation costs. However, traditional methods tend to be computationally expensive, limiting their scalability and real-world applicability. We introduce PruneFuse, a novel method that combines pruning and network fusion to enhance data selection and accelerate network training. In PruneFuse, the original dense network is pruned to generate a smaller surrogate model that efficiently selects the most informative samples from the dataset. Once this iterative data selection selects sufficient samples, the insights learned from the pruned model are seamlessly integrated with the dense model through network fusion, providing an optimized initialization that accelerates training. Extensive experimentation on various datasets demonstrates that PruneFuse significantly reduces computational costs for data selection, achieves better performance than baselines, and accelerates the overall training process.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニング効率を改善し、関連するアノテーションコストを削減するためには、効率的なデータ選択が不可欠である。 しかし、従来の手法は計算コストが高く、スケーラビリティと現実の応用性が制限される傾向にある。 本研究では,プルーニングとネットワーク融合を組み合わせた新しい手法であるPruneFuseを導入し,データ選択の促進とネットワークトレーニングの高速化を図る。 PruneFuseでは、元の高密度ネットワークをプルーニングして、データセットから最も情報性の高いサンプルを効率的に選択する、より小さなサロゲートモデルを生成する。 この反復的データ選択が十分なサンプルを選択すると、プルーンドモデルから得られた洞察は、ネットワーク融合によって密集モデルとシームレスに統合され、トレーニングを加速する最適化された初期化を提供する。 さまざまなデータセットに対する大規模な実験により、PruneFuseはデータ選択の計算コストを大幅に削減し、ベースラインよりも優れたパフォーマンスを実現し、全体的なトレーニングプロセスを加速することが示された。

関連論文リスト

• Optimizing Data Curation through Spectral Analysis and Joint Batch Selection (SALN) [0.0]
  本稿では,データセット全体からではなく,各バッチ内のサンプルを優先順位付けして選択する手法であるSALNを紹介する。 提案手法は,各バッチ内の最も情報性の高いデータポイントを特定するためのスペクトル解析を応用し,学習速度と精度を向上する。 最大8倍のトレーニング時間を短縮し、標準のトレーニングメソッドよりも最大5%の精度を向上する。
  論文  参考訳（メタデータ） (2024-12-22T15:38:36Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
  サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。 このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
  論文  参考訳（メタデータ） (2024-06-25T16:52:37Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Drill the Cork of Information Bottleneck by Inputting the Most Important Data [28.32769151293851]
  ディープニューラルネットワークを効率的にトレーニングする方法はまだ解決されていない。 情報ボトルネック(IB)理論は、最適化過程は初期適合相と次の圧縮相からなると主張している。 IB理論で表される嵌合相は、典型的サンプリングが適切に適用された場合、高い信号対雑音比で促進されることを示す。
  論文  参考訳（メタデータ） (2021-05-15T09:20:36Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。