論文の概要: Fast Ensemble Learning Using Adversarially-Generated Restricted
Boltzmann Machines
- arxiv url: http://arxiv.org/abs/2101.01042v1
- Date: Mon, 4 Jan 2021 16:00:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-12 04:44:58.177361
- Title: Fast Ensemble Learning Using Adversarially-Generated Restricted
Boltzmann Machines
- Title(参考訳): 逆生成制限ボルツマンマシンを用いた高速アンサンブル学習
- Authors: Gustavo H. de Rosa, Mateus Roder, Jo\~ao P. Papa
- Abstract要約: Restricted Boltzmann Machine (RBM)は近年注目され、データ確率分布をモデル化するエネルギーベースの構造に依存している。
本稿では,事前学習した重み行列がGAN入力として機能するAdversarial Learningを用いて,RBMを人工的に生成することを提案する。
画像再構成および画像分類タスクにおける提案手法の有効性を実験的に検証した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Learning has been applied in a wide range of tasks throughout the
last years, ranging from image classification to autonomous driving and natural
language processing. Restricted Boltzmann Machine (RBM) has received recent
attention and relies on an energy-based structure to model data probability
distributions. Notwithstanding, such a technique is susceptible to adversarial
manipulation, i.e., slightly or profoundly modified data. An alternative to
overcome the adversarial problem lies in the Generative Adversarial Networks
(GAN), capable of modeling data distributions and generating adversarial data
that resemble the original ones. Therefore, this work proposes to artificially
generate RBMs using Adversarial Learning, where pre-trained weight matrices
serve as the GAN inputs. Furthermore, it proposes to sample copious amounts of
matrices and combine them into ensembles, alleviating the burden of training
new models'. Experimental results demonstrate the suitability of the proposed
approach under image reconstruction and image classification tasks, and
describe how artificial-based ensembles are alternatives to pre-training vast
amounts of RBMs.
- Abstract(参考訳): 機械学習は、画像分類から自動運転、自然言語処理まで、過去数年間にわたって幅広いタスクに応用されてきた。
制限ボルツマン機械(rbm)は近年注目を集め、データ確率分布をモデル化するエネルギーベースの構造に依存している。
とはいえ、このようなテクニックは逆境操作、すなわちわずかに、あるいは大きく修正されたデータに影響を受けやすい。
敵対的問題を克服する別の方法として、データ分散をモデル化し、元のものと類似した逆データを生成するGAN(Generative Adversarial Networks)がある。
そこで本研究では,事前学習した重み行列がGAN入力として機能するAdversarial Learningを用いて,RBMを人工的に生成することを提案する。
さらに,新しいモデルの訓練の負担を軽減するため,共用量の行列をサンプリングしてアンサンブルに組み合わせることを提案する。
実験結果は,画像再構成および画像分類課題における提案手法の適合性を示し,大量のrbmの事前学習に代わる人工的なアンサンブルについて述べる。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Quantum Generative Modeling of Sequential Data with Trainable Token
Embedding [0.0]
ボルンマシンとして知られる量子インスパイアされた生成モデルは、古典的および量子的データの学習において大きな進歩を見せている。
本稿では,MPSを同時に使用可能なトレーニング可能な量子計測演算子への埋め込み法を一般化する。
私たちの研究は、トレーニング可能な埋め込みと組み合わせることで、Bornマシンはより良いパフォーマンスを示し、データセットからより深い相関関係を学習できることを示した。
論文 参考訳(メタデータ) (2023-11-08T22:56:37Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳(メタデータ) (2023-10-22T23:56:19Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Generative Adversarial Reduced Order Modelling [0.0]
本稿ではGAROMについて述べる。GAN(Generative Adversarial Network)に基づくリダクション・オーダー・モデリング(ROM)の新しいアプローチである。
GANはデータ配布を学習し、よりリアルなデータを生成する可能性がある。
本研究では,パラメータ微分方程式の解を学習可能なデータ駆動生成逆数モデルを導入することにより,GANとROMの枠組みを組み合わせる。
論文 参考訳(メタデータ) (2023-05-25T09:23:33Z) - Fitting a Directional Microstructure Model to Diffusion-Relaxation MRI
Data with Self-Supervised Machine Learning [2.8167227950959206]
教師付き学習の魅力的な代替手段として、自己教師型機械学習が登場している。
本稿では,指向性マイクロ構造モデルに適用可能な自己教師型機械学習モデルを実証する。
提案手法は, パラメータ推定と計算時間において, 通常の非線形最小二乗整合と比較して明らかに改善されている。
論文 参考訳(メタデータ) (2022-10-05T15:51:39Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Reconstructing Training Data from Diverse ML Models by Ensemble
Inversion [8.414622657659168]
モデルインバージョン(MI)は、学習された機械学習(ML)モデルへのアクセスを敵が悪用するものであり、研究の注目を集めている。
本研究では,訓練されたモデルのアンサンブルに制約されたジェネレータを訓練することにより,元のトレーニングデータの分布を推定するアンサンブル変換手法を提案する。
データセットを使わずに高品質な結果が得られ、想定されるトレーニングデータに類似した補助データセットを利用することで、結果がどう改善されるかを示す。
論文 参考訳(メタデータ) (2021-11-05T18:59:01Z) - Controllable and Compositional Generation with Latent-Space Energy-Based
Models [60.87740144816278]
制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。
本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。
エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-10-21T03:31:45Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-04-19T12:26:26Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。