論文の概要: Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2007.10623v2
• Date: Fri, 2 Oct 2020 04:22:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 04:02:09.361281
• Title: Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
• Title（参考訳）: 依存データから構造化潜在因子を学習する:情報理論から見た生成モデルフレームワーク
• Authors: Ruixiang Zhang, Masanori Koyama, Katsuhiko Ishiguro
• Abstract要約: 本稿では,潜在空間における様々な基盤構造を持つ生成モデル学習のための新しいフレームワークを提案する。 我々のモデルは、様々なタイプの望まれる構造を反映した意味論的に意味のある潜在因子の集合を学習するための原則化されたアプローチを提供する。
• 参考スコア（独自算出の注目度）: 18.88255368184596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning controllable and generalizable representation of multivariate data with desired structural properties remains a fundamental problem in machine learning. In this paper, we present a novel framework for learning generative models with various underlying structures in the latent space. We represent the inductive bias in the form of mask variables to model the dependency structure in the graphical model and extend the theory of multivariate information bottleneck to enforce it. Our model provides a principled approach to learn a set of semantically meaningful latent factors that reflect various types of desired structures like capturing correlation or encoding invariance, while also offering the flexibility to automatically estimate the dependency structure from data. We show that our framework unifies many existing generative models and can be applied to a variety of tasks including multi-modal data modeling, algorithmic fairness, and invariant risk minimization.
• Abstract（参考訳）: 望ましい構造特性を持つ多変量データの学習制御可能で一般化された表現は、機械学習の基本的な問題である。 本稿では,潜在空間における種々の構造を持つ生成モデルを学ぶための新しい枠組みを提案する。 マスク変数の形で帰納バイアスを表現し、グラフィカルモデルの依存性構造をモデル化し、多変量情報ボトルネックの理論を拡張して適用する。 私たちのモデルは、相関のキャプチャや非分散のエンコーディングなど、様々な種類の望ましい構造を反映した、意味的に意味のある潜在要因のセットを学ぶための原則的なアプローチを提供し、データから依存関係構造を自動的に見積もる柔軟性を提供します。 本フレームワークは既存の生成モデルの多くを統一し,マルチモーダルデータモデリング,アルゴリズムフェアネス,不変リスク最小化など,さまざまなタスクに適用可能であることを示す。

関連論文リスト

• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Amortised Inference in Structured Generative Models with Explaining Away [16.92791301062903]
  我々は、複数の変数に対して構造化因子を組み込むために、償却変分推論の出力を拡張した。 パラメータ化された因子は、複雑な図形構造における変分メッセージパッシングと効率的に結合可能であることを示す。 次に、構造化されたモデルと、自由に動くげっ歯類の海馬からの高次元神経スパイク時系列を適合させる。
  論文  参考訳（メタデータ） (2022-09-12T12:52:15Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)
• Structure by Architecture: Structured Representations without Regularization [31.75200752252397]
  生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。 これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
  論文  参考訳（メタデータ） (2020-06-14T04:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。