論文の概要: Structured Ensembles: an Approach to Reduce the Memory Footprint of Ensemble Methods

• arxiv url: http://arxiv.org/abs/2105.02551v1
• Date: Thu, 6 May 2021 09:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 20:31:34.031383
• Title: Structured Ensembles: an Approach to Reduce the Memory Footprint of Ensemble Methods
• Title（参考訳）: 構造化アンサンブル:アンサンブル法におけるメモリフットプリント削減の一手法
• Authors: Jary Pomponi, Simone Scardapane, and Aurelio Uncini
• Abstract要約: 深層ニューラルネットワークのための新しいアンサンブル技術を提案し,必要なメモリを大幅に削減することができる。 提案手法は競合する手法よりも高い精度や同等の精度を達成できるが,ストレージは大幅に削減できることを示す。
• 参考スコア（独自算出の注目度）: 9.004005678155023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel ensembling technique for deep neural networks, which is able to drastically reduce the required memory compared to alternative approaches. In particular, we propose to extract multiple sub-networks from a single, untrained neural network by solving an end-to-end optimization task combining differentiable scaling over the original architecture, with multiple regularization terms favouring the diversity of the ensemble. Since our proposal aims to detect and extract sub-structures, we call it Structured Ensemble. On a large experimental evaluation, we show that our method can achieve higher or comparable accuracy to competing methods while requiring significantly less storage. In addition, we evaluate our ensembles in terms of predictive calibration and uncertainty, showing they compare favourably with the state-of-the-art. Finally, we draw a link with the continual learning literature, and we propose a modification of our framework to handle continuous streams of tasks with a sub-linear memory cost. We compare with a number of alternative strategies to mitigate catastrophic forgetting, highlighting advantages in terms of average accuracy and memory.
• Abstract（参考訳）: 本稿では,より深いニューラルネットワークのための新しいアンサンブル手法を提案する。 特に,本論文では,同一の訓練されていないニューラルネットワークから複数のサブネットワークを抽出し,元のアーキテクチャ上で微分可能なスケーリングを組み合わせたエンドツーエンド最適化タスクと,アンサンブルの多様性を指向した複数の正規化項を組み合わせることを提案する。 我々の提案はサブ構造の検出と抽出を目的としており、構造化アンサンブルと呼ぶ。 大規模な実験により,本手法は競合する手法よりも高い精度,あるいは同等の精度を達成できるが,ストレージは大幅に削減できることを示した。 さらに,予測キャリブレーションと不確実性の観点からのアンサンブルの評価を行い,最新技術との比較を行った。 最後に,連続学習文献とのリンクを描き,サブリニアなメモリコストでタスクの連続的なストリームを処理するためのフレームワークの修正を提案する。 我々は、破滅的な忘れを軽減し、平均的正確性と記憶の利点を強調するための、いくつかの代替戦略と比較する。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Hierarchical Ensemble-Based Feature Selection for Time Series Forecasting [0.0]
  非定常性のための階層的積み重ねに基づく特徴選択のための新しいアンサンブルアプローチを導入する。 当社のアプローチでは,階層構造を用いた機能間の共依存を利用しています。 このアプローチの有効性は、合成およびよく知られた実生活データセット上で実証される。
  論文  参考訳（メタデータ） (2023-10-26T16:40:09Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
  我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2022-11-27T23:17:08Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• A Framework and Benchmark for Deep Batch Active Learning for Regression [2.093287944284448]
  ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。 本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。 提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
  論文  参考訳（メタデータ） (2022-03-17T16:11:36Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。