論文の概要: Distributional autoencoders know the score

• arxiv url: http://arxiv.org/abs/2502.11583v1
• Date: Mon, 17 Feb 2025 09:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:15:34.979290
• Title: Distributional autoencoders know the score
• Title（参考訳）: 分散オートエンコーダはスコアを知っています
• Authors: Andrej Leban,
• Abstract要約: エンコーダのレベルセットは、データ分布のスコアに対して正確に向き付けされていることを示す。 スコア自体が物理的意味を持つ設定では,科学的に重要な量を回収できることを示す。 スコアを学習しているという事実は、生成モデルとして期待できることを意味します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This work presents novel and desirable properties of a recently introduced class of autoencoders -- the Distributional Principal Autoencoder (DPA) -- that combines distributionally correct reconstruction with principal components-like interpretability of the encodings. First, we show that the level sets of the encoder orient themselves exactly with regard to the score of the data distribution. This both explains the method's often remarkable performance in disentangling the the factors of variation of the data, as well as opens up possibilities of recovering its distribution while having access to samples only. In settings where the score itself has physical meaning -- such as when the data obey the Boltzmann distribution -- we demonstrate that the method can recover scientifically important quantities such as the \textit{minimum free energy path}. Second, we show that if the data lie on a manifold that can be approximated by the encoder, the optimal encoder's components beyond the dimension of the manifold will carry absolutely no additional information about the data distribution. This promises new ways of determining the number of relevant dimensions of the data beyond common heuristics such as the scree plot. Finally, the fact that the method is learning the score means that it could have promise as a generative model, potentially rivaling approaches such as diffusion, which similarly attempts to approximate the score of the data distribution.
• Abstract（参考訳）: この研究は、分布的に正しい再構成とエンコーディングの主成分のような解釈可能性を組み合わせた、最近導入されたオートエンコーダ(分散主オートエンコーダ(DPA))の斬新で望ましい性質を示す。 まず、エンコーダのレベルセットが、データ分布のスコアに対して正確に向き付けされていることを示す。 このことは、データの変動の要因を解消する上で、この手法がしばしば顕著な性能を説明できると同時に、サンプルのみにアクセスしながら、その分布を回復する可能性も開ける。 スコア自体が、ボルツマン分布に従うような物理的な意味を持つような設定では、この手法が「textit{minimum free energy path}」のような科学的に重要な量を回復できることを示す。 第二に、もしデータがエンコーダによって近似できる多様体上にあるなら、多様体の次元を超えた最適なエンコーダの成分は、データ分布に関する追加情報を持っていない。 これは、スクレープロットのような一般的なヒューリスティックスを超えた、データの関連する次元の数を決定できる新しい方法を約束する。 最後に、この手法がスコアを学習しているという事実は、データ分布のスコアを近似しようとする拡散のようなアプローチに対抗して、生成モデルとして期待できることを意味している。

関連論文リスト

• Watermarking Generative Categorical Data [9.087950471621653]
  本手法は,データ分布を2つの成分に分割し,一方の分布を他方との決定論的関係に基づいて修正することにより秘密信号を埋め込む。 透かしを検証するために挿入逆アルゴリズムを導入し、逆復号データと元の分布との間の全変動距離を計測してその存在を検出する。
  論文  参考訳（メタデータ） (2024-11-16T21:57:45Z)
• Learned Compression of Encoding Distributions [1.4732811715354455]
  エントロピーボトルネックは多くの学習された圧縮モデルで使用される共通成分である。 特定の入力に対する潜在データ分布と一致するように符号化分布を適応させる手法を提案する。 提案手法は,Kodakテストデータセット上でのBjontegaard-Delta(BD)レートの7.10%向上を実現する。
  論文  参考訳（メタデータ） (2024-06-18T21:05:51Z)
• Distributional Principal Autoencoders [2.519266955671697]
  次元減少技術は通常、再構成されたデータが元のデータと同一でないという意味で情報を失う。 本稿では,高次元データを低次元潜在変数にマッピングするエンコーダからなる分散主オートエンコーダ(DPA)を提案する。 データを再構成するために、DPAデコーダは、ある潜在値にマッピングされたすべてのデータの条件分布に一致させることを目的としている。
  論文  参考訳（メタデータ） (2024-04-21T12:52:04Z)
• Beyond the Known: Adversarial Autoencoders in Novelty Detection [2.7486022583843233]
  新規性検出では、新しいデータポイントをinlierまたはoutlierに分類するかどうかを判断する。 我々は類似のフレームワークを軽量なディープネットワークで使用し、再構成誤差を伴う確率的スコアを採用する。 その結果,本手法は対象クラスを学習する上で有効であることが示唆され,いくつかのベンチマークデータセット上での最近の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-06T00:04:19Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
  Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。 我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
  論文  参考訳（メタデータ） (2022-02-08T18:08:24Z)
• Neural Distributed Source Coding [59.630059301226474]
  相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。 提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:50:43Z)
• Out-of-distribution Detection and Generation using Soft Brownian Offset Sampling and Autoencoders [1.313418334200599]
  ディープニューラルネットワークは、分散検出の改善によって部分的に修復される過信に苦しむことが多い。 本稿では,所定の分布内データセットに基づいて分散外データセットを生成できる新しい手法を提案する。 この新しいデータセットは、与えられたデータセットと機械学習タスクの配信外検出を改善するために使用できる。
  論文  参考訳（メタデータ） (2021-05-04T06:59:24Z)
• Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics [85.75352990739154]
  ソースフリー設定のための新しいドメイン適応手法を提案する。 未観測のソースデータの分布を近似するために,事前学習モデルに格納されたバッチ正規化統計を用いた。 本手法は最先端のドメイン適応手法で競合性能を実現する。
  論文  参考訳（メタデータ） (2021-01-19T14:22:33Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。