論文の概要: Measuring Orthogonality in Representations of Generative Models

• arxiv url: http://arxiv.org/abs/2407.03728v2
• Date: Tue, 01 Oct 2024 12:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:28.466420
• Title: Measuring Orthogonality in Representations of Generative Models
• Title（参考訳）: 生成モデルの表現における直交性の測定
• Authors: Robin C. Geyer, Alessandro Torcinovich, João B. Carvalho, Alexander Meyer, Joachim M. Buhmann,
• Abstract要約: 教師なしの表現学習において、モデルは高次元データから低次元の学習表現に不可欠な特徴を蒸留することを目的としている。 独立した生成過程の切り離しは、長い間、高品質な表現を生み出してきた。 我々は、IWO(Importance-Weighted Orthogonality)とIWR(Importance-Weighted Rank)の2つの新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 81.13466637365553
• License:
• Abstract: In unsupervised representation learning, models aim to distill essential features from high-dimensional data into lower-dimensional learned representations, guided by inductive biases. Understanding the characteristics that make a good representation remains a topic of ongoing research. Disentanglement of independent generative processes has long been credited with producing high-quality representations. However, focusing solely on representations that adhere to the stringent requirements of most disentanglement metrics, may result in overlooking many high-quality representations, well suited for various downstream tasks. These metrics often demand that generative factors be encoded in distinct, single dimensions aligned with the canonical basis of the representation space. Motivated by these observations, we propose two novel metrics: Importance-Weighted Orthogonality (IWO) and Importance-Weighted Rank (IWR). These metrics evaluate the mutual orthogonality and rank of generative factor subspaces. Throughout extensive experiments on common downstream tasks, over several benchmark datasets and models, IWO and IWR consistently show stronger correlations with downstream task performance than traditional disentanglement metrics. Our findings suggest that representation quality is closer related to the orthogonality of independent generative processes rather than their disentanglement, offering a new direction for evaluating and improving unsupervised learning models.
• Abstract（参考訳）: 教師なしの表現学習では、モデルは高次元データから帰納バイアスによって導かれる低次元の学習表現に本質的な特徴を蒸留することを目的としている。 よい表現をする特徴を理解することは、現在進行中の研究のトピックである。 独立した生成過程の切り離しは、長い間、高品質な表現を生み出してきた。 しかし、ほとんどの非絡み合いの指標の厳密な要求に従う表現にのみ焦点を合わせると、様々な下流のタスクに適した多くの高品質な表現を見落としてしまう可能性がある。 これらの測度は、しばしば生成因子を表現空間の標準基底と整合した独立した単一の次元で符号化することを要求する。 これらの観測を動機として,IWO(Importance-Weighted Orthogonality)とIWR(Importance-Weighted Rank)の2つの新しい指標を提案する。 これらの指標は、生成因子部分空間の相互直交性とランクを評価する。 共通のダウンストリームタスクに関する広範な実験を通じて、いくつかのベンチマークデータセットとモデルを通じて、IWOとIWRは、従来型のアンタングルメントメトリクスよりも、ダウンストリームタスクパフォーマンスとの強い相関関係を一貫して示している。 その結果,表現の質は,非教師なし学習モデルの評価と改善のための新たな方向性として,独立生成過程の直交性と密接に関連していることが示唆された。

関連論文リスト

• Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
  抽出可能な情報理論評価指標を新たに導入する。 EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。 私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
  論文  参考訳（メタデータ） (2024-10-25T09:35:00Z)
• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は,最適化に基づく不整合アプローチと離散表現学習を組み合わせた最初の手法である。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions [6.566615606042994]
  本稿では,不確実性の異なるモデル下での分布を明らかにすることにより,分類器の性能指標について,よりバランスのとれた視点を求める。 我々は、このROC空間内の(そしてそれ以上の)パフォーマンスメトリクスの輪郭の方程式、アニメーション、インタラクティブな可視化を開発します。 私たちの期待は、これらの洞察と視覚化によって、パフォーマンス指標の推定における実質的な不確実性に対する認識がより高くなることです。
  論文  参考訳（メタデータ） (2022-06-05T11:54:59Z)
• Efficient Iterative Amortized Inference for Learning Symmetric and Disentangled Multi-Object Representations [8.163697683448811]
  本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。 対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。 標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
  論文  参考訳（メタデータ） (2021-06-07T14:02:49Z)
• Learning Domain Invariant Representations for Generalizable Person Re-Identification [71.35292121563491]
  ReID(Generalizable person Re-Identification)は、最近のコンピュータビジョンコミュニティで注目を集めている。 DIR-ReID(Domain Invariant Representations for Generalizable Person Re-Identification)という新しい一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:59:48Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。