論文の概要: Encoding Binary Concepts in the Latent Space of Generative Models for Enhancing Data Representation

• arxiv url: http://arxiv.org/abs/2303.12255v1
• Date: Wed, 22 Mar 2023 01:45:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 15:49:02.415790
• Title: Encoding Binary Concepts in the Latent Space of Generative Models for Enhancing Data Representation
• Title（参考訳）: データ表現強化のための生成モデルの潜在空間におけるバイナリ概念の符号化
• Authors: Zizhao Hu, Mohammad Rostami
• Abstract要約: 本稿では,バイナリ概念の学習を容易にし,自動エンコーダにおけるデータ生成の質を向上させるために,二項化正規化を提案する。 提案手法は,既存のモデルを改良して,より伝達可能な表現を学習し,入力分布を表すサンプルをより多く生成できることを実証する。
• 参考スコア（独自算出の注目度）: 12.013345715187285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Binary concepts are empirically used by humans to generalize efficiently. And they are based on Bernoulli distribution which is the building block of information. These concepts span both low-level and high-level features such as "large vs small" and "a neuron is active or inactive". Binary concepts are ubiquitous features and can be used to transfer knowledge to improve model generalization. We propose a novel binarized regularization to facilitate learning of binary concepts to improve the quality of data generation in autoencoders. We introduce a binarizing hyperparameter $r$ in data generation process to disentangle the latent space symmetrically. We demonstrate that this method can be applied easily to existing variational autoencoder (VAE) variants to encourage symmetric disentanglement, improve reconstruction quality, and prevent posterior collapse without computation overhead. We also demonstrate that this method can boost existing models to learn more transferable representations and generate more representative samples for the input distribution which can alleviate catastrophic forgetting using generative replay under continual learning settings.
• Abstract（参考訳）: 二項の概念は、人間が効率的に一般化するために経験的に使われる。 そしてそれらは、情報のビルディングブロックであるBernoulli分布に基づいている。 これらの概念は、"large vs small"や"a neuron is active or inactive"のような低レベルと高レベルの両方にまたがる。 バイナリの概念はユビキタスな機能であり、モデル一般化を改善するための知識の伝達に使用できる。 自動エンコーダにおけるデータ生成の質を向上させるために,バイナリ概念の学習を容易にする新しい2値化正規化を提案する。 データ生成における双対化ハイパーパラメータ$r$を導入し、潜在空間を対称に切り離す。 本手法は,既存の変分オートエンコーダ (vae) 変種に対して容易に適用でき, 対称な絡み合いの促進, 再構成品質の向上, 計算オーバーヘッドを伴わずに後方崩壊を防止できることを示す。 また,本手法は既存のモデルを強化し,より伝達可能な表現を学習し,連続的な学習環境下での再生再生による破滅的な忘れを軽減できる入力分布の代表サンプルを生成することを実証する。

関連論文リスト

• Prioritized Generative Replay [121.83947140497655]
  本稿では,オンライン体験を再現する生成モデルを用いて,エージェントのメモリの優先的でパラメトリックなバージョンを提案する。 このパラダイムは、生成モデルの一般化能力の恩恵を受ける新しい世代と共に、過去の経験の密度化を可能にする。 このレシピは条件付き拡散モデルと単純な関連関数を用いてインスタンス化できることを示す。
  論文  参考訳（メタデータ） (2024-10-23T17:59:52Z)
• Dual Space Training for GANs: A Pathway to Efficient and Creative Generative Models [0.0]
  GAN(Generative Adversarial Networks)は、生成モデルにおいて顕著な進歩を見せている。 本稿では,初期データの双対空間内での動作によってトレーニングプロセスを変換する新しい最適化手法を提案する。 二重空間の符号化された表現に対してGANを訓練することにより、生成過程は大幅に効率が良くなり、人間の認識以外のパターンを明らかにする可能性がある。
  論文  参考訳（メタデータ） (2024-10-22T03:44:13Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Learning Sparse Latent Representations for Generator Model [7.467412443287767]
  そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。 我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
  論文  参考訳（メタデータ） (2022-09-20T18:58:24Z)
• The Transitive Information Theory and its Application to Deep Generative Models [0.0]
  変分オートエンコーダ(VAE)は2つの反対方向に押される。 既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。 一般化のために学習した表現を再結合する機構とともに,非交叉表現の階層構造を学習するシステムを開発する。
  論文  参考訳（メタデータ） (2022-03-09T22:35:02Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。