論文の概要: Deep Sufficient Representation Learning via Mutual Information

• arxiv url: http://arxiv.org/abs/2207.10772v1
• Date: Thu, 21 Jul 2022 22:13:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 12:38:03.376899
• Title: Deep Sufficient Representation Learning via Mutual Information
• Title（参考訳）: 相互情報による深層表現学習
• Authors: Siming Zheng, Yuanyuan Lin and Jian Huang
• Abstract要約: 本稿では,相互情報に基づく十分表現学習(MSRL)手法を提案する。 MSRLは、応答とユーザ選択分布との最大相互情報で十分な表現を学習する。 我々はMSRLの性能を、広範囲な数値実験と実データ解析により評価する。
• 参考スコア（独自算出の注目度）: 2.9832792722677506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a mutual information-based sufficient representation learning (MSRL) approach, which uses the variational formulation of the mutual information and leverages the approximation power of deep neural networks. MSRL learns a sufficient representation with the maximum mutual information with the response and a user-selected distribution. It can easily handle multi-dimensional continuous or categorical response variables. MSRL is shown to be consistent in the sense that the conditional probability density function of the response variable given the learned representation converges to the conditional probability density function of the response variable given the predictor. Non-asymptotic error bounds for MSRL are also established under suitable conditions. To establish the error bounds, we derive a generalized Dudley's inequality for an order-two U-process indexed by deep neural networks, which may be of independent interest. We discuss how to determine the intrinsic dimension of the underlying data distribution. Moreover, we evaluate the performance of MSRL via extensive numerical experiments and real data analysis and demonstrate that MSRL outperforms some existing nonlinear sufficient dimension reduction methods.
• Abstract（参考訳）: 本稿では,相互情報の変分定式化と深層ニューラルネットワークの近似力を利用した相互情報に基づく十分表現学習(MSRL)手法を提案する。 MSRLは、応答とユーザ選択分布との最大相互情報で十分な表現を学習する。 多次元連続またはカテゴリー応答変数を容易に扱うことができる。 msrlは、学習された表現が与えられた応答変数の条件付き確率密度関数が、与えられた応答変数の条件付き確率密度関数に収束するという意味で一貫している。 MSRLの非漸近誤差境界も適切な条件下で確立される。 誤差境界を確立するために、深層ニューラルネットワークによってインデックス付けされた順序2 U-プロセスに対するダドリーの不等式を一般化した。 基礎となるデータ分布の固有次元を決定する方法について論じる。 さらに,MSRLの性能は,大規模な数値実験と実データ解析により評価し,既存の非線形十分次元削減法よりも優れていることを示した。

関連論文リスト

• A Likelihood Based Approach to Distribution Regression Using Conditional Deep Generative Models [6.647819824559201]
  本研究では,条件付き深部生成モデルの推定のための可能性に基づくアプローチの大規模サンプル特性について検討する。 その結果,条件分布を推定するための最大極大推定器の収束率を導いた。
  論文  参考訳（メタデータ） (2024-10-02T20:46:21Z)
• Neural Network Approximation for Pessimistic Offline Reinforcement Learning [17.756108291816908]
  一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。 その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
  論文  参考訳（メタデータ） (2023-12-19T05:17:27Z)
• Max-Sliced Mutual Information [17.667315953598788]
  高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。 本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:25Z)
• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
  情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。 現実世界の応用にはいくつかの望ましい性質がある。 しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
  論文  参考訳（メタデータ） (2020-10-08T07:22:16Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。