論文の概要: Robust Generative Restricted Kernel Machines using Weighted Conjugate Feature Duality

• arxiv url: http://arxiv.org/abs/2002.01180v3
• Date: Tue, 23 Jun 2020 14:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 02:23:14.539969
• Title: Robust Generative Restricted Kernel Machines using Weighted Conjugate Feature Duality
• Title（参考訳）: 重み付き共役特徴双対を用いたロバスト生成制限カーネルマシン
• Authors: Arun Pandey, Joachim Schreurs, Johan A. K. Suykens
• Abstract要約: 制限カーネルマシン(RKM)のフレームワークにおける重み付き共役特徴双対性を導入する。 RKMの定式化により、古典的なロバスト統計からメソッドを簡単に統合できる。 実験により、トレーニングデータに汚染が存在する場合、重み付けされたRKMはクリーンな画像を生成することができることが示された。
• 参考スコア（独自算出の注目度）: 11.68800227521015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interest in generative models has grown tremendously in the past decade. However, their training performance can be adversely affected by contamination, where outliers are encoded in the representation of the model. This results in the generation of noisy data. In this paper, we introduce weighted conjugate feature duality in the framework of Restricted Kernel Machines (RKMs). The RKM formulation allows for an easy integration of methods from classical robust statistics. This formulation is used to fine-tune the latent space of generative RKMs using a weighting function based on the Minimum Covariance Determinant, which is a highly robust estimator of multivariate location and scatter. Experiments show that the weighted RKM is capable of generating clean images when contamination is present in the training data. We further show that the robust method also preserves uncorrelated feature learning through qualitative and quantitative experiments on standard datasets.
• Abstract（参考訳）: 生成モデルへの関心は過去10年で著しく高まっている。 しかし、それらのトレーニング性能は、モデル表現に外乱がエンコードされる汚染によって悪影響を及ぼす可能性がある。 これによりノイズの多いデータが生成される。 本稿では,Restricted Kernel Machines (RKMs) のフレームワークに重み付き共役特徴双対性を導入する。 RKMの定式化により、古典的なロバスト統計からメソッドを簡単に統合できる。 この定式化は、多変量配置と散乱の高ロバストな推定子である最小共分散決定式に基づく重み付け関数を用いて生成 rkms の潜在空間を微調整するために用いられる。 実験により,重み付きrkmは,トレーニングデータに汚染が存在する場合にクリーンな画像を生成することができることを示した。 さらに,このロバストな手法は,標準データセットの質的および定量的実験を通じて,無相関な特徴学習も保持することを示した。

関連論文リスト

• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Accurate generation of stochastic dynamics based on multi-model Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)は、テキストや画像生成などの分野において大きな可能性を秘めている。 ここでは、格子上の原型過程に適用することにより、このアプローチを定量的に検証する。 重要なことに、ノイズにもかかわらずモデルの離散性は維持される。
  論文  参考訳（メタデータ） (2023-05-25T10:41:02Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
  データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。 本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。 混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。 提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
  論文  参考訳（メタデータ） (2022-10-13T16:18:46Z)
• Learning a Restricted Boltzmann Machine using biased Monte Carlo sampling [0.6554326244334867]
  マルコフ・チェイン・モンテカルロによる平衡分布のサンプリングはバイアスサンプリング法により劇的に加速できることを示す。 また、このサンプリング手法を用いて、トレーニング中のログライクな勾配の計算を改善することも示している。
  論文  参考訳（メタデータ） (2022-06-02T21:29:01Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Information Theoretic Structured Generative Modeling [13.117829542251188]
  構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。 この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。 予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
  論文  参考訳（メタデータ） (2021-10-12T07:44:18Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。