論文の概要: PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2007.06503v1
• Date: Mon, 13 Jul 2020 16:56:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:06:48.287488
• Title: PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
• Title（参考訳）: PRI-VAE: 関連情報変分オートエンコーダの原理
• Authors: Yanjun Li, Shujian Yu, Jose C. Principe, Xiaolin Li, and Dapeng Wu
• Abstract要約: まず,PRI-VAEと呼ばれる新しい学習目標を提案する。 本稿では,いくつかの重要な情報理論量の進化を検査し,既存のVAEモデルを分析するための情報理論的視点を提案する。 また、4つのベンチマークデータセットに対するPRI-VAEの有効性を実証した。
• 参考スコア（独自算出の注目度）: 21.702801479284986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although substantial efforts have been made to learn disentangled representations under the variational autoencoder (VAE) framework, the fundamental properties to the dynamics of learning of most VAE models still remain unknown and under-investigated. In this work, we first propose a novel learning objective, termed the principle-of-relevant-information variational autoencoder (PRI-VAE), to learn disentangled representations. We then present an information-theoretic perspective to analyze existing VAE models by inspecting the evolution of some critical information-theoretic quantities across training epochs. Our observations unveil some fundamental properties associated with VAEs. Empirical results also demonstrate the effectiveness of PRI-VAE on four benchmark data sets.
• Abstract（参考訳）: 変分オートエンコーダ (VAE) フレームワークで非絡み合い表現を学習するためのかなりの努力が続けられているが、ほとんどのVAEモデルの学習のダイナミクスの基本的な性質はいまだ不明であり、未解明のままである。 そこで本研究では,本論文で提案するpri-vae(principle-of-relevant-information variational autoencoder)と呼ばれる新しい学習目標を提案する。 次に,既存のvaeモデルを分析するための情報理論的な視点を提示し,訓練時代における重要な情報理論量の進化を考察する。 我々の観測では、VAEの基本的な性質が明らかにされている。 また、4つのベンチマークデータセットに対するPRI-VAEの有効性を実証した。

関連論文リスト

• Prior Learning in Introspective VAEs [24.271671383057598]
  変分オートエンコーダ(VAE)は教師なし学習とデータ生成のための一般的なフレームワークである。 本研究では,Soft-IntroVAEに着目し,マルチモーダルで学習可能なフレームワークをこのフレームワークに組み込むことの意味について検討する。
  論文  参考訳（メタデータ） (2024-08-25T10:54:25Z)
• Silkie: Preference Distillation for Large Visual Language Models [56.10697821410489]
  本稿では,大型視覚言語モデル(LVLM)の嗜好蒸留について検討する。 まず,AIアノテーションを用いた視覚言語フィードバックデータセットを構築した。 我々は, GPT-4V を用いて, 有用性, 視覚的忠実性, 倫理的考察のアウトプットを評価する。 結果として得られたモデルSilkieは、認知能力と認知能力に関するMMEベンチマークで6.9%と9.5%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2023-12-17T09:44:27Z)
• Improving VAE-based Representation Learning [26.47244578124654]
  優れた表現にはどのような特性が必要か,また異なるVAE構造選択が学習特性に与える影響について検討する。 ローカルな特徴を学習するデコーダを使用することで、残りのグローバルな特徴を潜伏者によってうまく捉えられることを示す。
  論文  参考訳（メタデータ） (2022-05-28T23:00:18Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Covariate-informed Representation Learning with Samplewise Optimal Identifiable Variational Autoencoders [15.254297587065595]
  最近提案された変分オートエンコーダ (iVAE) は、データの潜在独立成分を学習するための有望なアプローチを提供する。 我々は新しいアプローチ、CI-iVAE(co-informed identible VAE)を開発した。 目的関数は逆関係を強制し、学習された表現はより多くの観測情報を含む。
  論文  参考訳（メタデータ） (2022-02-09T00:18:33Z)
• Leveraging Intrinsic Gradient Information for Machine Learning Model Training [4.682734815593623]
  入力に対する対象変数の微分を利用して、微分可能な機械学習モデルの精度を向上させることができる。 1)線形回帰モデルとフィードフォワードニューラルネットワーク(NN)の予測精度の向上,(2)勾配情報と非勾配情報との差を利用してNNの複雑さを調整すること,(4)勾配情報を用いて生成画像モデルを改善すること。
  論文  参考訳（メタデータ） (2021-11-30T20:50:45Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• From Canonical Correlation Analysis to Self-supervised Graph Neural Networks [99.44881722969046]
  本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。 古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。 提案手法は、7つの公開グラフデータセット上で競合的に動作する。
  論文  参考訳（メタデータ） (2021-06-23T15:55:47Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。