論文の概要: BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion

• arxiv url: http://arxiv.org/abs/2403.15766v1
• Date: Sat, 23 Mar 2024 08:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 21:02:48.460937
• Title: BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion
• Title（参考訳）: BEND: ニューラルネットワークの効率的な拡散に基づくディープラーニングトレーニング
• Authors: Jia Wei, Xingjun Zhang, Witold Pedrycz,
• Abstract要約: BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
• 参考スコア（独自算出の注目度）: 56.9358325168226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bagging has achieved great success in the field of machine learning by integrating multiple base classifiers to build a single strong classifier to reduce model variance. The performance improvement of bagging mainly relies on the number and diversity of base classifiers. However, traditional deep learning model training methods are expensive to train individually and difficult to train multiple models with low similarity in a restricted dataset. Recently, diffusion models, which have been tremendously successful in the fields of imaging and vision, have been found to be effective in generating neural network model weights and biases with diversity. We creatively propose a Bagging deep learning training algorithm based on Efficient Neural network Diffusion (BEND). The originality of BEND comes from the first use of a neural network diffusion model to efficiently build base classifiers for bagging. Our approach is simple but effective, first using multiple trained model weights and biases as inputs to train autoencoder and latent diffusion model to realize a diffusion model from noise to valid neural network parameters. Subsequently, we generate several base classifiers using the trained diffusion model. Finally, we integrate these ba se classifiers for various inference tasks using the Bagging method. Resulting experiments on multiple models and datasets show that our proposed BEND algorithm can consistently outperform the mean and median accuracies of both the original trained model and the diffused model. At the same time, new models diffused using the diffusion model have higher diversity and lower cost than multiple models trained using traditional methods. The BEND approach successfully introduces diffusion models into the new deep learning training domain and provides a new paradigm for future deep learning training and inference.
• Abstract（参考訳）: Baggingは、モデル分散を減らすために、複数のベース分類器を統合して単一の強力な分類器を構築することで、機械学習の分野で大きな成功を収めた。 バッジの性能改善は主に基本分類器の数と多様性に依存している。 しかし、従来のディープラーニングモデルトレーニング手法は、個人でトレーニングするのが高価であり、制限されたデータセットにおいて、類似度が低い複数のモデルをトレーニングすることが困難である。 近年、画像や視覚の分野で非常に成功した拡散モデルが、ニューラルネットワークモデルの重みと多様性によるバイアスを生成するのに有効であることが判明した。 本稿では,BEND(Efficient Neural Network Diffusion)に基づくBaging Deep Learningトレーニングアルゴリズムを創造的に提案する。 BENDの独創性は、ニューラルネットワーク拡散モデルを使用して、バッグングのためのベース分類器を効率的に構築することに由来する。 我々のアプローチは単純だが効果的であり、まず複数の訓練されたモデル重みとバイアスを入力として、ノイズから有効なニューラルネットワークパラメータへの拡散モデルを実現するためにオートエンコーダと潜時拡散モデルを訓練する。 その後、訓練された拡散モデルを用いて基底分類器を複数生成する。 最後に、これらのba se分類器をBagging法を用いて様々な推論タスクに統合する。 複数のモデルとデータセットに対する実験の結果、提案したBENDアルゴリズムは、元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して上回ることを示す。 同時に、拡散モデルを用いて拡散された新しいモデルは、従来の方法で訓練された複数のモデルよりも多様性が高く、低コストである。 BENDアプローチは、新しいディープラーニングトレーニングドメインへの拡散モデルの導入に成功し、将来のディープラーニングトレーニングと推論のための新しいパラダイムを提供する。

関連論文リスト

• Variational autoencoder-based neural network model compression [4.992476489874941]
  変分オートエンコーダ(VAE)は、深部生成モデルの一種であり、近年広く使われている。 本稿では,VAEに基づくニューラルネットワークモデル圧縮手法について検討する。
  論文  参考訳（メタデータ） (2024-08-25T09:06:22Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Fully differentiable model discovery [0.0]
  ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。 我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
  論文  参考訳（メタデータ） (2021-06-09T08:11:23Z)
• Distributed Training of Deep Learning Models: A Taxonomic Perspective [11.924058430461216]
  分散ディープラーニングシステム(DDLS)は、クラスタの分散リソースを利用することで、ディープニューラルネットワークモデルをトレーニングする。 私たちは、独立したマシンのクラスタでディープニューラルネットワークをトレーニングする際の、作業の基本原則に光を当てることを目指しています。
  論文  参考訳（メタデータ） (2020-07-08T08:56:58Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。