論文の概要: Learning Hierarchical Features with Joint Latent Space Energy-Based Prior

• arxiv url: http://arxiv.org/abs/2310.09604v1
• Date: Sat, 14 Oct 2023 15:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 19:32:32.058855
• Title: Learning Hierarchical Features with Joint Latent Space Energy-Based Prior
• Title（参考訳）: 宇宙エネルギーを前提とした協調型階層的特徴学習
• Authors: Jiali Cui, Ying Nian Wu, Tian Han
• Abstract要約: 階層表現学習における多層ジェネレータモデルの基本的問題について検討する。 実効的階層型表現学習のための多層潜在変数を用いた有意な潜在空間EMM事前モデルを提案する。
• 参考スコア（独自算出の注目度）: 44.4434704520236
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper studies the fundamental problem of multi-layer generator models in learning hierarchical representations. The multi-layer generator model that consists of multiple layers of latent variables organized in a top-down architecture tends to learn multiple levels of data abstraction. However, such multi-layer latent variables are typically parameterized to be Gaussian, which can be less informative in capturing complex abstractions, resulting in limited success in hierarchical representation learning. On the other hand, the energy-based (EBM) prior is known to be expressive in capturing the data regularities, but it often lacks the hierarchical structure to capture different levels of hierarchical representations. In this paper, we propose a joint latent space EBM prior model with multi-layer latent variables for effective hierarchical representation learning. We develop a variational joint learning scheme that seamlessly integrates an inference model for efficient inference. Our experiments demonstrate that the proposed joint EBM prior is effective and expressive in capturing hierarchical representations and modelling data distribution.
• Abstract（参考訳）: 本稿では階層表現の学習における多層生成モデルの基本問題について述べる。 トップダウンアーキテクチャで構成された複数の遅延変数からなる多層ジェネレータモデルは、複数のレベルのデータ抽象化を学ぶ傾向がある。 しかし、そのような多層潜伏変数は一般にガウス変数としてパラメータ化され、複雑な抽象化を捉える際には情報が少なく、階層的表現学習において限られた成功をもたらす。 一方で、エネルギベース(ebm)のプリエントは、データのレギュレーションをキャプチャする上では表現的であることが知られているが、階層的な表現の異なるレベルをキャプチャする階層構造が欠如していることが多い。 本稿では,階層的表現学習のための多層潜在変数を用いた統合潜在空間ebm事前モデルを提案する。 我々は,効率的な推論のために推論モデルをシームレスに統合した変分ジョイント学習スキームを開発した。 実験の結果,提案手法は階層的表現の獲得やデータ分布のモデル化に有効で表現力が高いことがわかった。

関連論文リスト

• COLLAGE: Collaborative Human-Agent Interaction Generation using Hierarchical Latent Diffusion and Language Models [14.130327598928778]
  大規模言語モデル (LLMs) と階層型運動固有ベクトル量子化変分オートエンコーダ (VQ-VAEs) を提案する。 我々のフレームワークは、現実的で多様な協調的な人間-オブジェクト-ヒューマンインタラクションを生成し、最先端の手法より優れています。 我々の研究は、ロボット工学、グラフィックス、コンピュータビジョンなど、様々な領域における複雑な相互作用をモデリングする新たな可能性を開く。
  論文  参考訳（メタデータ） (2024-09-30T17:02:13Z)
• Learning Joint Latent Space EBM Prior Model for Multi-layer Generator [44.4434704520236]
  多層ジェネレータモデルの学習における基礎的問題について検討する。 本稿では,全層にまたがる待ち行列空間上のエネルギーモデル (EBM) を提案する。 実験により、学習したモデルが高品質な画像を生成する際に表現できることが実証された。
  論文  参考訳（メタデータ） (2023-06-10T00:27:37Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• Recurrent Neural Networks with Mixed Hierarchical Structures and EM Algorithm for Natural Language Processing [9.645196221785694]
  我々は潜在指標層と呼ばれる手法を開発し、暗黙的な階層的情報を特定し学習する。 また、トレーニングにおいて潜在指標層を扱うEMアルゴリズムを開発した。 ブートストラップトレーニングによるEM-HRNNモデルは,文書分類タスクにおいて,他のRNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-21T23:08:33Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。