論文の概要: Distributional Autoencoders Know the Score

• arxiv url: http://arxiv.org/abs/2502.11583v2
• Date: Wed, 09 Apr 2025 17:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 16:25:04.138864
• Title: Distributional Autoencoders Know the Score
• Title（参考訳）: 分散オートエンコーダがスコアを知る
• Authors: Andrej Leban,
• Abstract要約: 分散主オートエンコーダ(DPA)は、分布的に正しい再構成と、それらのエンコーディングの主成分のような解釈可能性を組み合わせたものである。 エンコーダのレベルセットは、データ分布のスコアに対して正確に向き付けされていることを示す。 データをエンコーダで近似できる多様体上に置けば、多様体の次元を超えた最適なエンコーダの成分は、データ分布に関する追加情報を持たないことが証明される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents novel and desirable properties of a recently introduced class of autoencoders - the Distributional Principal Autoencoder (DPA) - which combines distributionally correct reconstruction with principal components-like interpretability of the encodings. First, we show formally that the level sets of the encoder orient themselves exactly with regard to the score of the data distribution. This both explains the method's often remarkable performance in disentangling the factors of variation of the data, as well as opens up possibilities of recovering its distribution while having access to samples only. In settings where the score itself has physical meaning - such as when the data obeys the Boltzmann distribution - we demonstrate that the method can recover scientifically important quantities such as the minimum free energy path. Second, we prove that if the data lies on a manifold that can be approximated by the encoder, the optimal encoder's components beyond the dimension of the manifold will carry absolutely no additional information about the data distribution. This promises potentially new ways of determining the number of relevant dimensions of the data. The results thus demonstrate that the DPA elegantly combines two often disparate goals of unsupervised learning: the learning of the data distribution and the learning of the intrinsic data dimensionality.
• Abstract（参考訳）: この研究は、分布的に正しい再構成とエンコーディングの主成分的解釈可能性を組み合わせた、最近導入されたオートエンコーダ(分散主オートエンコーダ(DPA))の斬新で望ましい性質を示す。 まず、エンコーダのレベルセットが、データ分布のスコアに対して正確に向き付けられたことを正式に示す。 このことは、データのばらつきの要因を解消し、サンプルのみにアクセスしながら、その分布を回復する可能性を高めるという点において、この方法がしばしば顕著なパフォーマンスを説明できる。 スコア自体が物理的意味を持つ設定では、ボルツマン分布に従えば、最小自由エネルギー経路のような科学的に重要な量を回復できることを示す。 第二に、もしデータがエンコーダによって近似できる多様体上にあるなら、多様体の次元を超えた最適なエンコーダの成分は、データ分布に関する追加情報を全く持っていないことが証明される。 これにより、データに関連する次元の数を決定する新たな方法が期待できる。 その結果、DPAは、教師なし学習の2つの異なる目標、すなわちデータ分布の学習と本質的なデータ次元の学習をエレガントに組み合わせていることが示された。

関連論文リスト

• Watermarking Generative Categorical Data [9.087950471621653]
  本手法は,データ分布を2つの成分に分割し,一方の分布を他方との決定論的関係に基づいて修正することにより秘密信号を埋め込む。 透かしを検証するために挿入逆アルゴリズムを導入し、逆復号データと元の分布との間の全変動距離を計測してその存在を検出する。
  論文  参考訳（メタデータ） (2024-11-16T21:57:45Z)
• Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
  我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。 ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。 我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-27T01:25:22Z)
• Learned Compression of Encoding Distributions [1.4732811715354455]
  エントロピーボトルネックは多くの学習された圧縮モデルで使用される共通成分である。 特定の入力に対する潜在データ分布と一致するように符号化分布を適応させる手法を提案する。 提案手法は,Kodakテストデータセット上でのBjontegaard-Delta(BD)レートの7.10%向上を実現する。
  論文  参考訳（メタデータ） (2024-06-18T21:05:51Z)
• Distributional Principal Autoencoders [2.519266955671697]
  次元減少技術は通常、再構成されたデータが元のデータと同一でないという意味で情報を失う。 本稿では,高次元データを低次元潜在変数にマッピングするエンコーダからなる分散主オートエンコーダ(DPA)を提案する。 データを再構成するために、DPAデコーダは、ある潜在値にマッピングされたすべてのデータの条件分布に一致させることを目的としている。
  論文  参考訳（メタデータ） (2024-04-21T12:52:04Z)
• Beyond the Known: Adversarial Autoencoders in Novelty Detection [2.7486022583843233]
  新規性検出では、新しいデータポイントをinlierまたはoutlierに分類するかどうかを判断する。 我々は類似のフレームワークを軽量なディープネットワークで使用し、再構成誤差を伴う確率的スコアを採用する。 その結果,本手法は対象クラスを学習する上で有効であることが示唆され,いくつかのベンチマークデータセット上での最近の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-06T00:04:19Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Probabilistic Matching of Real and Generated Data Statistics in Generative Adversarial Networks [0.6906005491572401]
  本稿では,あるデータ統計量の分布が実データの分布と一致することを確実にする手法を提案する。 提案手法を合成データセットと実世界のデータセットで評価し,提案手法の性能向上を実証した。
  論文  参考訳（メタデータ） (2023-06-19T14:03:27Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Convergent autoencoder approximation of low bending and low distortion manifold embeddings [5.5711773076846365]
  オートエンコーダのエンコーダコンポーネントを学習するための新しい正規化を提案し,解析する。 損失関数は、入力多様体上の点対に対する異なるサンプリング戦略とモンテカルロ積分を通じて計算される。 我々の主定理は、埋め込み写像の損失汎函数をサンプリング依存損失汎函数の$Gamma$-極限として定義する。
  論文  参考訳（メタデータ） (2022-08-22T10:31:31Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
  Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。 我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
  論文  参考訳（メタデータ） (2022-02-08T18:08:24Z)
• Neural Distributed Source Coding [59.630059301226474]
  相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。 提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:50:43Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。