Fugu-MT 論文翻訳(概要): Information Theory in Density Destructors

論文の概要: Information Theory in Density Destructors

arxiv url: http://arxiv.org/abs/2012.01012v1
Date: Wed, 2 Dec 2020 08:04:53 GMT
ステータス: 処理完了
システム内更新日: 2021-05-25 04:11:55.375632
Title: Information Theory in Density Destructors
Title（参考訳）: 密度デストラクタにおける情報理論
Authors: J. Emmanuel Johnson, Valero Laparra, Gustau Camps-Valls, Raul Santos-Rodr\'iguez, Jes\'us Malo
Abstract要約: 情報理論量をより正確に推定するために、密度デストラクタをどのように利用できるかを示す。その結果, 密度破壊フローの学習において, 情報理論の手法が代替の最適化基準となる可能性が示唆された。
参考スコア（独自算出の注目度）: 9.085663541378723
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Density destructors are differentiable and invertible transforms that map multivariate PDFs of arbitrary structure (low entropy) into non-structured PDFs (maximum entropy). Multivariate Gaussianization and multivariate equalization are specific examples of this family, which break down the complexity of the original PDF through a set of elementary transforms that progressively remove the structure of the data. We demonstrate how this property of density destructive flows is connected to classical information theory, and how density destructors can be used to get more accurate estimates of information theoretic quantities. Experiments with total correlation and mutual information inmultivariate sets illustrate the ability of density destructors compared to competing methods. These results suggest that information theoretic measures may be an alternative optimization criteria when learning density destructive flows.
Abstract（参考訳）: 密度デストラクタは微分可能であり、任意の構造(低エントロピー)の多変量PDFを非構造PDF(最大エントロピー)に変換する可逆変換である。多変量ガウス化と多変量等化はこのファミリの具体例であり、元のPDFの複雑さをデータ構造を段階的に除去する基本変換によって分解する。密度破壊的流れの性質が古典的情報理論とどのように結びついているか,また,より正確な情報理論量の推定に密度分解器が利用できるかを示す。全相関と相互情報の多変量集合による実験は、競合する手法と比較して密度デストラクタの能力を示している。これらの結果は,情報理論的な手法が,密度破壊的流れを学ぶ際の代替的最適化基準となる可能性を示唆する。

関連論文リスト

Density Estimation via Binless Multidimensional Integration [45.21975243399607]
非パラメトリック、ロバスト、およびデータ効率の高い密度推定のためのBinless Multidimensional Thermodynamic Integration (BMTI)法を提案する。 BMTIは、近隣のデータポイント間の対数密度差を計算し、その密度の対数を推定する。この方法は様々な複雑な合成高次元データセットでテストされ、化学物理学の文献から現実的なデータセットでベンチマークされる。
論文参考訳（メタデータ） (2024-07-10T23:45:20Z)
TERM Model: Tensor Ring Mixture Model for Density Estimation [48.622060998018206]
本稿では,密度推定器のテンソルリング分解を行い,置換候補の数を著しく削減する。適応重み付き複数の置換候補を組み込んだ混合モデルはさらに設計され、表現柔軟性が向上する。このアプローチは、最適置換以外にも、最適置換が独特な情報を提供できることを認めている。
論文参考訳（メタデータ） (2023-12-13T11:39:56Z)
Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文参考訳（メタデータ） (2023-05-19T08:22:23Z)
Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
論文参考訳（メタデータ） (2022-10-07T15:59:13Z)
Tensor-reduced atomic density representations [0.0]
グラフニューラルネットワークは、化学元素情報を学習可能な方法で固定次元空間にマッピングすることで、スケーリングから逃れる。我々は、標準近傍密度に基づく記述子のテンソル構造を利用して、このアプローチをテンソル分解として再考する。そのため、化学元素の数に依存しないコンパクトなテンソル還元表現を形成する。
論文参考訳（メタデータ） (2022-10-02T01:08:50Z)
Joint Manifold Learning and Density Estimation Using Normalizing Flows [4.939777212813711]
問題に答えるために,1ピクセルあたりのペナル化と階層的トレーニングという2つのアプローチを導入する。そこで本稿では,変換された空間をアンタングル化することで,共同多様体学習と密度推定を行う一段階法を提案する。その結果, 共用多様体学習と密度推定において, 提案手法の優位性を検証した。
論文参考訳（メタデータ） (2022-06-07T13:35:14Z)
Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文参考訳（メタデータ） (2022-03-08T08:57:43Z)
Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
論文参考訳（メタデータ） (2021-11-25T17:33:12Z)
Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
論文参考訳（メタデータ） (2021-07-02T02:13:45Z)
Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。現実世界の応用にはいくつかの望ましい性質がある。しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文参考訳（メタデータ） (2020-10-08T07:22:16Z)
Low-rank Characteristic Tensor Density Estimation Part I: Foundations [38.05393186002834]
テンソル因子化ツールに基づく新しい手法を提案する。次元の呪いを回避するため、この特性テンソルの低ランクモデルを導入する。提案手法の有望な性能を,複数の測定データを用いて実証する。
論文参考訳（メタデータ） (2020-08-27T18:06:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。