論文の概要: Bi-level Doubly Variational Learning for Energy-based Latent Variable
Models
- arxiv url: http://arxiv.org/abs/2203.14702v1
- Date: Thu, 24 Mar 2022 04:13:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 12:40:02.476166
- Title: Bi-level Doubly Variational Learning for Energy-based Latent Variable
Models
- Title(参考訳): エネルギーベース潜在変数モデルの2段階2変分学習
- Authors: Ge Kan, Jinhu L\"u, Tian Wang, Baochang Zhang, Aichun Zhu, Lei Huang,
Guodong Guo, Hichem Snoussi
- Abstract要約: エネルギーベース潜在変数モデル(EBLVM)は、従来のエネルギーベースモデルよりも表現力が高い。
EBLVMの学習を容易にするために,バイレベル二重変分学習(BiDVL)を提案する。
本モデルは,関連作品よりも印象的な画像生成性能を実現する。
- 参考スコア(独自算出の注目度): 46.75117861209482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-based latent variable models (EBLVMs) are more expressive than
conventional energy-based models. However, its potential on visual tasks are
limited by its training process based on maximum likelihood estimate that
requires sampling from two intractable distributions. In this paper, we propose
Bi-level doubly variational learning (BiDVL), which is based on a new bi-level
optimization framework and two tractable variational distributions to
facilitate learning EBLVMs. Particularly, we lead a decoupled EBLVM consisting
of a marginal energy-based distribution and a structural posterior to handle
the difficulties when learning deep EBLVMs on images. By choosing a symmetric
KL divergence in the lower level of our framework, a compact BiDVL for visual
tasks can be obtained. Our model achieves impressive image generation
performance over related works. It also demonstrates the significant capacity
of testing image reconstruction and out-of-distribution detection.
- Abstract(参考訳): エネルギーベース潜在変数モデル(EBLVM)は、従来のエネルギーベースモデルよりも表現力が高い。
しかしながら、視覚タスクのポテンシャルは、2つの難解な分布からのサンプリングを必要とする最大確率推定に基づくトレーニングプロセスによって制限される。
本稿では,新しい二段階最適化フレームワークと2つのトラクタブルな変分分布に基づくバイレベル二重変分学習(BiDVL)を提案し,ESBVMの学習を容易にする。
特に,画像上で深部EBLVMを学習する際の難易度に対処するため,限界エネルギー分布と構造後部からなる分離EBLVMを導出する。
フレームワークの下位レベルにおける対称KL分散を選択することで、視覚タスクのためのコンパクトなBiDVLを得ることができる。
本モデルは,関連作品よりも印象的な画像生成性能を実現する。
また、画像再構成と分散検出をテストできることも示している。
関連論文リスト
- Referee Can Play: An Alternative Approach to Conditional Generation via
Model Inversion [35.21106030549071]
拡散確率モデル(DPM)はテキスト・画像生成タスクにおいて支配的な力である。
先進視覚言語モデル(VLM)の逆転手法として、最先端DPMの代替的視点を提案する。
差別的VLMを監督した画像を直接最適化することにより、提案手法はより優れたテキスト画像アライメントを実現することができる。
論文 参考訳(メタデータ) (2024-02-26T05:08:40Z) - Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。
我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。
4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文 参考訳(メタデータ) (2024-02-22T10:19:34Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳(メタデータ) (2023-12-22T14:40:55Z) - Bilevel Generative Learning for Low-Light Vision [64.77933848939327]
本稿では、RAWからRGB領域へのデータ変換のための生成ブロックを導入することで、汎用的な低照度ビジョンソリューションを提案する。
この新しいアプローチは、フィールドにおける最初のデータ生成を明示的に表現することで、多様な視覚問題を結合する。
そこで我々は,新しい二段階生成学習パラダイムを取得するために,低コストと高精度の異なる目標を目標とする2種類の学習戦略を開発した。
論文 参考訳(メタデータ) (2023-08-07T07:59:56Z) - Persistently Trained, Diffusion-assisted Energy-based Models [18.135784288023928]
我々は,拡散データを導入し,持続的トレーニングを通じて拡散補助EBMと呼ばれる共同ESMを学習する。
持続的に訓練されたESMは、長期安定、訓練後の画像生成、配当検出の精度の向上を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-04-21T02:29:18Z) - Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。
我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
論文 参考訳(メタデータ) (2022-06-13T03:41:31Z) - Weakly supervised segmentation with cross-modality equivariant
constraints [7.757293476741071]
弱い教師付き学習は、セマンティックセグメンテーションにおける大きなラベル付きデータセットの必要性を軽減するための魅力的な代替手段として登場した。
本稿では,マルチモーダル画像シナリオにおける自己スーパービジョンを活用した新しい学習戦略を提案する。
私たちのアプローチは、同じ学習条件下で関連する最近の文学を上回ります。
論文 参考訳(メタデータ) (2021-04-06T13:14:20Z) - Bi-level Score Matching for Learning Energy-based Latent Variable Models [46.7000048886801]
スコアマッチング(SM)は、分割関数の計算を避けてエネルギーベースモデル(EBM)を学習するための魅力的なアプローチを提供する。
本稿では,一般的な構造を持つEBLVMを学習するためのBi-level score matching (BiSM)法を提案する。
適用可能な場合,BiSMは,広く採用されているコントラスト分岐法とSM法に匹敵することを示す。
論文 参考訳(メタデータ) (2020-10-15T16:24:04Z) - ICE-BeeM: Identifiable Conditional Energy-Based Deep Models Based on
Nonlinear ICA [11.919315372249802]
確率モデルの同定可能性理論を考察する。
我々は,独立に修飾されたコンポーネント分析の枠組みにおけるコンポーネントの推定に,我々のモデルを利用できることを示す。
論文 参考訳(メタデータ) (2020-02-26T14:43:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。