論文の概要: Understanding Variational Autoencoders with Intrinsic Dimension and Information Imbalance

• arxiv url: http://arxiv.org/abs/2411.01978v1
• Date: Mon, 04 Nov 2024 10:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:35.857803
• Title: Understanding Variational Autoencoders with Intrinsic Dimension and Information Imbalance
• Title（参考訳）: 固有次元と情報不均衡を用いた変分オートエンコーダの理解
• Authors: Charles Camboulin, Diego Doimo, Aldo Glielmo,
• Abstract要約: 本研究は,内在次元(ID)と情報不均衡を用いた変分オートエンコーダ(VAE)の隠れ表現の解析(II) ボトルネックサイズがデータのIDよりも大きくなると,VAEは動作の遷移を行ない,二重ハッシュバックIDプロファイルと情報処理の質的なシフトをIIで捉えた。
• 参考スコア（独自算出の注目度）: 2.7446241148152257
• License:
• Abstract: This work presents an analysis of the hidden representations of Variational Autoencoders (VAEs) using the Intrinsic Dimension (ID) and the Information Imbalance (II). We show that VAEs undergo a transition in behaviour once the bottleneck size is larger than the ID of the data, manifesting in a double hunchback ID profile and a qualitative shift in information processing as captured by the II. Our results also highlight two distinct training phases for architectures with sufficiently large bottleneck sizes, consisting of a rapid fit and a slower generalisation, as assessed by a differentiated behaviour of ID, II, and KL loss. These insights demonstrate that II and ID could be valuable tools for aiding architecture search, for diagnosing underfitting in VAEs, and, more broadly, they contribute to advancing a unified understanding of deep generative models through geometric analysis.
• Abstract（参考訳）: 本研究では,内在次元 (ID) と情報不均衡 (II) を用いた変分オートエンコーダ (VAE) の隠蔽表現の解析を行った。 ボトルネックサイズがデータのIDよりも大きくなると,VAEは動作の遷移を行ない,二重ハッシュバックIDプロファイルと情報処理の質的なシフトをIIで捉えた。 また,ID,II,KL損失の差分行動によって評価されるように,急激な適合と緩やかな一般化からなる十分に大きなボトルネックサイズを持つアーキテクチャの2つの異なる訓練段階も強調した。 これらの知見は、II と ID が、VAE における不適合の診断に役立ち、幾何学的解析を通じて深層生成モデルの統一的な理解を促進するのに有用であることを示している。

関連論文リスト

• Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
  バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。 本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:09:20Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Diffusion Bridge AutoEncoders for Unsupervised Representation Learning [10.74555302283403]
  Diffusion Bridge AuteEncoders (DBAE)を導入し、フィードフォワードアーキテクチャを通じてz依存のエンドポイントxT推論を可能にする。 そこで本稿では,DBAEの再構築と生成モデリングを両立させる目的関数を提案し,その理論的正当性について述べる。
  論文  参考訳（メタデータ） (2024-05-27T12:28:17Z)
• ID-Aligner: Enhancing Identity-Preserving Text-to-Image Generation with Reward Feedback Learning [57.91881829308395]
  AIポートレートや広告といった幅広いアプリケーションシナリオのために、ID-T2I(ID-preserving text-to-image generation)が注目されている。 我々は,ID-T2I性能を向上させるための一般的なフィードバック学習フレームワークである textbfID-Aligner を提案する。
  論文  参考訳（メタデータ） (2024-04-23T18:41:56Z)
• DAGnosis: Localized Identification of Data Inconsistencies using Structures [73.39285449012255]
  機械学習モデルを確実に使用するためには、デプロイメント時のデータの不整合の特定と適切な処理が不可欠である。 我々は,有向非巡回グラフ(DAG)を用いて,トレーニングセットの特徴分布と非依存性を構造として符号化する。 我々の手法はDAGnosisと呼ばれ、これらの構造的相互作用を利用して、価値があり洞察に富んだデータ中心の結論をもたらす。
  論文  参考訳（メタデータ） (2024-02-26T11:29:16Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Supervision Adaptation Balancing In-distribution Generalization and Out-of-distribution Detection [36.66825830101456]
  In-distribution (ID) と Out-of-distribution (OOD) のサンプルは、ディープニューラルネットワークにおけるtextitdistributionalな脆弱性を引き起こす可能性がある。 我々は,OODサンプルに対する適応的な監視情報を生成するために,新しいテクスツパービジョン適応手法を導入し,IDサンプルとの互換性を高めた。
  論文  参考訳（メタデータ） (2022-06-19T11:16:44Z)
• Image-based Automated Species Identification: Can Virtual Data Augmentation Overcome Problems of Insufficient Sampling? [0.0]
  視覚的種自動識別のための2段階データ拡張手法を提案する。 データ拡張の第1段階は、データ拡張と偽画像の生成という古典的なアプローチを適用している。 第2レベルのデータ拡張では、ベクトル空間におけるオーバーサンプリングアルゴリズムによって、特徴空間における合成的な追加サンプリングが採用されている。
  論文  参考訳（メタデータ） (2020-10-18T15:44:45Z)
• Longitudinal Variational Autoencoder [1.4680035572775534]
  不足値を含む高次元データを解析するための一般的なアプローチは、変分オートエンコーダ(VAE)を用いた低次元表現を学習することである。 標準的なVAEは、学習した表現はi.d.であり、データサンプル間の相関を捉えることができないと仮定する。 本稿では,多出力加法的ガウス過程(GP)を用いて,構造化された低次元表現を学習するVAEの能力を拡張した縦型VAE(L-VAE)を提案する。 我々の手法は時間変化の共有効果とランダム効果の両方に同時に対応でき、構造化された低次元表現を生成する。
  論文  参考訳（メタデータ） (2020-06-17T10:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。