論文の概要: Prior Learning in Introspective VAEs

• arxiv url: http://arxiv.org/abs/2408.13805v1
• Date: Sun, 25 Aug 2024 10:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 17:49:53.842619
• Title: Prior Learning in Introspective VAEs
• Title（参考訳）: イントロスペクティブVAEにおける事前学習
• Authors: Ioannis Athanasiadis, Shashi Nagarajan, Fredrik Lindsten, Michael Felsberg,
• Abstract要約: 変分オートエンコーダ(VAE)は教師なし学習とデータ生成のための一般的なフレームワークである。 本研究では,Soft-IntroVAEに着目し,マルチモーダルで学習可能なフレームワークをこのフレームワークに組み込むことの意味について検討する。
• 参考スコア（独自算出の注目度）: 24.271671383057598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational Autoencoders (VAEs) are a popular framework for unsupervised learning and data generation. A plethora of methods have been proposed focusing on improving VAEs, with the incorporation of adversarial objectives and the integration of prior learning mechanisms being prominent directions. When it comes to the former, an indicative instance is the recently introduced family of Introspective VAEs aiming at ensuring that a low likelihood is assigned to unrealistic samples. In this study, we focus on the Soft-IntroVAE (S-IntroVAE) and investigate the implication of incorporating a multimodal and learnable prior into this framework. Namely, we formulate the prior as a third player and show that when trained in cooperation with the decoder constitutes an effective way for prior learning, which shares the Nash Equilibrium with the vanilla S-IntroVAE. Furthermore, based on a modified formulation of the optimal ELBO in S-IntroVAE, we develop theoretically motivated regularizations, that is (i) adaptive variance clipping to stabilize training when learning the prior and (ii) responsibility regularization to discourage the formation of inactive prior mode. Finally, we perform a series of targeted experiments on a 2D density estimation benchmark and in an image generation setting comprised of the (F)-MNIST and CIFAR-10 datasets demonstrating the benefit of prior learning in S-IntroVAE in generation and representation learning.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は教師なし学習とデータ生成のための一般的なフレームワークである。 対人目的の具体化と先行学習機構の統合が顕著な方向性である,VAEの改善に焦点をあてた手法が多数提案されている。 前者の例は、非現実的なサンプルに低い確率が割り当てられることを保証するために最近導入されたイントロスペクティブVAEの族である。 本研究では,Soft-IntroVAE(S-IntroVAE)に着目し,マルチモーダルで学習しやすいフレームワークをこのフレームワークに組み込むことの意味について検討する。 すなわち、前者を第3のプレイヤーとして定式化し、デコーダと協調して訓練すると、ナッシュ平衡をバニラS-イントロVAEと共有する事前学習に有効な方法となることを示す。 さらに、S-IntroVAEにおける最適ELBOの修正された定式化に基づいて、理論上動機付けられた正規化を開発する。 一 事前学習時の訓練を安定させる適応的分散クリッピング 二 不活発な事前態様の形成を阻害する責任の定式化 最後に、2次元密度推定ベンチマークと、(F)-MNISTとCIFAR-10データセットからなる画像生成環境で、S-IntroVAEの事前学習による生成と表現学習の利点を示す一連の実験を行う。

関連論文リスト

• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [19.982853959240497]
  既存のメソッドは、しばしば追加の参照データ、分散やドメイン予測のための独立したコンポーネントに依存します。 本稿では,動的ランク選択型低ランク適応(LoRA)を提案する。 本手法は,学習済みの知識とCL中に獲得した知識の両方を保持することで,学習済みのVLMを継続的に強化する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Directly Attention Loss Adjusted Prioritized Experience Replay [0.07366405857677226]
  優先度付き再生体験(PER)は、アクセス頻度を人工的に変化させることで、比較的重要なサンプルについてより深く学習することを可能にする。 DALAPが提案され、パラレル自己保持ネットワークを通じて、シフト分布の変化範囲を直接定量化することができる。
  論文  参考訳（メタデータ） (2023-11-24T10:14:05Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders [21.702801479284986]
  まず,PRI-VAEと呼ばれる新しい学習目標を提案する。 本稿では,いくつかの重要な情報理論量の進化を検査し,既存のVAEモデルを分析するための情報理論的視点を提案する。 また、4つのベンチマークデータセットに対するPRI-VAEの有効性を実証した。
  論文  参考訳（メタデータ） (2020-07-13T16:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。