論文の概要: Controlling the Interaction Between Generation and Inference in
Semi-Supervised Variational Autoencoders Using Importance Weighting
- arxiv url: http://arxiv.org/abs/2010.06549v2
- Date: Wed, 14 Oct 2020 13:04:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 22:44:09.024872
- Title: Controlling the Interaction Between Generation and Inference in
Semi-Supervised Variational Autoencoders Using Importance Weighting
- Title（参考訳）: 重み付けを用いた半スーパービジョン変分オートエンコーダの生成と推論の相互作用制御
- Authors: Ghazi Felhi, Joseph Leroux, Djam\'e Seddah
- Abstract要約: 変分オートエンコーダ(VAE)は半教師あり学習に広く使われている。
我々は,学習した生成モデルの後部を用いて,部分的に観察された潜在変数の学習において,推論モデルを導くことを観察した。
重要度重み付けを用いて、部分的に観察された潜伏変数のどちらかか、または観測されていない潜伏変数のどちらかを優先する2つの新しい目的を導出する。
- 参考スコア（独自算出の注目度）: 0.9582466286528458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Even though Variational Autoencoders (VAEs) are widely used for
semi-supervised learning, the reason why they work remains unclear. In fact,
the addition of the unsupervised objective is most often vaguely described as a
regularization. The strength of this regularization is controlled by
down-weighting the objective on the unlabeled part of the training set. Through
an analysis of the objective of semi-supervised VAEs, we observe that they use
the posterior of the learned generative model to guide the inference model in
learning the partially observed latent variable. We show that given this
observation, it is possible to gain finer control on the effect of the
unsupervised objective on the training procedure. Using importance weighting,
we derive two novel objectives that prioritize either one of the partially
observed latent variable, or the unobserved latent variable. Experiments on the
IMDB english sentiment analysis dataset and on the AG News topic classification
dataset show the improvements brought by our prioritization mechanism and
exhibit a behavior that is inline with our description of the inner working of
Semi-Supervised VAEs.
- Abstract（参考訳）: 変分オートエンコーダ (VAE) は半教師付き学習に広く用いられているが、その動作理由は不明である。
実際、教師なし目的の追加は、しばしばあいまいに正規化として記述される。
この正規化の強度は、トレーニングセットの未ラベル部分の目標を低くすることで制御される。
半教師付きvaesの目的の分析を通して,学習した生成モデルの後方を用いて,部分的に観測された潜在変数の学習における推論モデルを導出する。
この観察結果から,教師なし目標が訓練手順に及ぼす影響について,より細かく制御できることが示されている。
重要度重み付けを用いて, 部分的に観測された潜在変数の1つか, 観測されていない潜在変数のどちらかを優先する2つの新しい目的を導出する。
IMDBの英語感情分析データセットとAG Newsのトピック分類データセットの実験では、優先順位付けメカニズムによる改善が示され、セミスーパービジョンのVAEの内部動作の説明とインラインな振る舞いを示している。
関連論文リスト
- Prior Learning in Introspective VAEs [24.271671383057598]
変分オートエンコーダ(VAE)は教師なし学習とデータ生成のための一般的なフレームワークである。
本研究では,Soft-IntroVAEに着目し,マルチモーダルで学習可能なフレームワークをこのフレームワークに組み込むことの意味について検討する。
論文 参考訳（メタデータ） (2024-08-25T10:54:25Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳（メタデータ） (2024-02-13T11:25:20Z) - Causal Unsupervised Semantic Segmentation [60.178274138753174]
教師なしセマンティックセグメンテーションは、人間のラベル付きアノテーションなしで高品質なセマンティックセマンティックセグメンテーションを実現することを目的としている。
本稿では、因果推論からの洞察を活用する新しいフレームワークCAUSE(CAusal Unsupervised Semantic sEgmentation)を提案する。
論文 参考訳（メタデータ） (2023-10-11T10:54:44Z) - Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。
我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
論文 参考訳（メタデータ） (2022-08-26T19:50:46Z) - ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。
ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。
実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文 参考訳（メタデータ） (2022-06-24T08:18:05Z) - Control-Aware Prediction Objectives for Autonomous Driving [78.19515972466063]
本研究では,制御に対する予測の下流効果を評価するための制御認識予測目標(CAPOs)を提案する。
本稿では,エージェント間の注意モデルを用いた重み付けと,予測軌跡を接地真実軌跡に交換する際の制御変動に基づく重み付けの2つの方法を提案する。
論文 参考訳（メタデータ） (2022-04-28T07:37:21Z) - Pre-training also Transfers Non-Robustness [20.226917627173126]
一般化への貢献が認められているにもかかわらず、事前学習は、事前訓練されたモデルから微調整されたモデルへの非破壊性も伝達する。
その結果, 損耗を緩和し, 一般化を保ち, 有効性を検証した。
論文 参考訳（メタデータ） (2021-06-21T11:16:13Z) - Disentangling Action Sequences: Discovering Correlated Samples [6.179793031975444]
我々は、データ自体が要因ではなく非絡み合いにおいて重要な役割を担い、非絡み合い表現は潜在変数とアクションシーケンスとを一致させることを示した。
本稿では,アクションシーケンスをステップバイステップで切り離すための新しいフレームワークFVAEを提案する。
dSprites と 3D Chairs の実験結果から, FVAE は絡み合いの安定性を向上させることが示された。
論文 参考訳（メタデータ） (2020-10-17T07:37:50Z) - Variational Mutual Information Maximization Framework for VAE Latent
Codes with Continuous and Discrete Priors [5.317548969642376]
変分オートエンコーダ(VAE)は、複雑なデータの有向潜在変数モデルを学習するためのスケーラブルな方法である。
本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
論文 参考訳（メタデータ） (2020-06-02T09:05:51Z) - On Implicit Regularization in $\beta$-VAEs [32.674190005384204]
2つの観点から,変分分布の正規化が生成モデルの学習に及ぼす影響について検討した。
まず、最適な生成モデルの集合を制限することにより、学習モデルに変異族の選択が一意的に作用する役割を解析する。
次に,変分族が復号モデルの局所的幾何に与える影響について検討する。
論文 参考訳（メタデータ） (2020-01-31T19:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。