論文の概要: Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs

• arxiv url: http://arxiv.org/abs/2209.12590v1
• Date: Mon, 26 Sep 2022 11:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 16:59:30.111486
• Title: Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs
• Title（参考訳）: ドロップアウトへの学習: 学習シーケンスvaesに対する敵意的アプローチ
• Authors: {\DJ}or{\dj}e Miladinovi\'c, Kumar Shridhar, Kushal Jain, Max B. Paulus, Joachim M. Buhmann, Carl Allen
• Abstract要約: シーケンシャルデータに可変オートエンコーダ(VAE)を適用することで、シーケンス生成、操作、構造化表現学習を制御する方法が提供される。 理論的には、これは遅延空間を利用して補償されるデコーダ入力によって提供されるポイントワイドな相互情報を除去することを示す。 標準テキストベンチマークデータセットの均一なドロップアウトと比較して、我々のターゲットとなるアプローチは、シーケンス性能と潜時空間でキャプチャされた情報の両方を増大させる。
• 参考スコア（独自算出の注目度）: 16.968490007064872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In principle, applying variational autoencoders (VAEs) to sequential data offers a method for controlled sequence generation, manipulation, and structured representation learning. However, training sequence VAEs is challenging: autoregressive decoders can often explain the data without utilizing the latent space, known as posterior collapse. To mitigate this, state-of-the-art models weaken the powerful decoder by applying uniformly random dropout to the decoder input. We show theoretically that this removes pointwise mutual information provided by the decoder input, which is compensated for by utilizing the latent space. We then propose an adversarial training strategy to achieve information-based stochastic dropout. Compared to uniform dropout on standard text benchmark datasets, our targeted approach increases both sequence modeling performance and the information captured in the latent space.
• Abstract（参考訳）: 原則として、変分オートエンコーダ(vaes)を逐次データに適用することは、シーケンス生成、操作、構造化表現学習を制御する方法を提供する。 自己回帰デコーダは、後部崩壊として知られる潜伏空間を使わずに、しばしばデータを説明できる。 これを緩和するために、最先端のモデルはデコーダ入力に一様ランダムなドロップアウトを適用することで、強力なデコーダを弱める。 これにより、潜在空間を利用して補償されるデコーダ入力によって提供される点回りの相互情報を除去することができる。 次に,情報に基づく確率的ドロップアウトを実現するための逆トレーニング戦略を提案する。 標準テキストベンチマークデータセットの均一なドロップアウトと比較して、我々のターゲットとなるアプローチは、シーケンスモデリング性能と潜時空間で取得した情報の両方を増大させる。

関連論文リスト

• Are We Using Autoencoders in a Wrong Way? [3.110260251019273]
  オートエンコーダは次元減少、異常検出、特徴抽出に使用される。 潜在空間の形状を変更する不完全なオートエンコーダの標準トレーニングを再考した。 また,データセット全体からランダムサンプルを再構成する場合の潜伏空間の挙動についても検討した。
  論文  参考訳（メタデータ） (2023-09-04T11:22:43Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models [0.0]
  可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。 この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。 本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
  論文  参考訳（メタデータ） (2023-04-24T14:44:47Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。