論文の概要: Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling

• arxiv url: http://arxiv.org/abs/2006.07225v3
• Date: Wed, 30 Dec 2020 10:15:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 04:53:18.102790
• Title: Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling
• Title（参考訳）: 近接近傍サンプリングを用いた条件付き相互情報のための神経推定器
• Authors: Sina Molavipour, Germ\'an Bassi, Mikael Skoglund
• Abstract要約: サンプルの集合から相互情報(MI)または条件相互情報(CMI)を推定することは、長年の課題である。 最近の研究は、ニューラルネットワークの近似能力を活用し、従来の手法よりも改善されている。 サンプル平均値に高信頼濃度境界を導出し, 再サンプリングを行うため, k 隣人 (k-NN) に基づく新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 36.35382677479192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The estimation of mutual information (MI) or conditional mutual information (CMI) from a set of samples is a long-standing problem. A recent line of work in this area has leveraged the approximation power of artificial neural networks and has shown improvements over conventional methods. One important challenge in this new approach is the need to obtain, given the original dataset, a different set where the samples are distributed according to a specific product density function. This is particularly challenging when estimating CMI. In this paper, we introduce a new technique, based on k nearest neighbors (k-NN), to perform the resampling and derive high-confidence concentration bounds for the sample average. Then the technique is employed to train a neural network classifier and the CMI is estimated accordingly. We propose three estimators using this technique and prove their consistency, make a comparison between them and similar approaches in the literature, and experimentally show improvements in estimating the CMI in terms of accuracy and variance of the estimators.
• Abstract（参考訳）: サンプルの集合から相互情報(MI)や条件付き相互情報(CMI)を推定することは、長年の課題である。 この領域における最近の研究は、人工ニューラルネットワークの近似能力を活用し、従来の手法よりも改善されている。 この新しいアプローチにおける重要な課題の1つは、サンプルが特定の製品密度関数に従って分散される異なるデータセットである元のデータセットを考慮に入れる必要があることである。 CMIを見積もる場合,これは特に困難です。 本稿では,試料平均値に対する高信頼濃度境界の再現と導出を行うために,k近傍近傍 (k-nn) に基づく新しい手法を提案する。 次に、ニューラルネットワーク分類器を訓練するためにこの技術を使用し、それに応じてCMIを推定する。 この手法を用いて3つの推定器を提案し、それらの一貫性を証明し、文献におけるそれらと類似したアプローチの比較を行い、推定器の精度とばらつきの観点からCMIを推定する際の改善を実験的に示す。

関連論文リスト

• Nearest Neighbour Score Estimators for Diffusion Generative Models [16.189734871742743]
  トレーニングセットから複数のサンプルを抽出し,推定値の分散を劇的に低減する新しい近傍スコア関数推定器を提案する。 拡散モデルでは,確率フローODE統合のための学習ネットワークを推定器で置き換えることができ,将来的な研究の新たな道が開かれる。
  論文  参考訳（メタデータ） (2024-02-12T19:27:30Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Fake It Till You Make It: Near-Distribution Novelty Detection by Score-Based Generative Models [54.182955830194445]
  既存のモデルは、いわゆる"近く分布"設定で失敗するか、劇的な低下に直面します。 本稿では, スコアに基づく生成モデルを用いて, 合成近分布異常データを生成することを提案する。 本手法は,9つのノベルティ検出ベンチマークにおいて,近分布ノベルティ検出を6%改善し,最先端のノベルティ検出を1%から5%パスする。
  論文  参考訳（メタデータ） (2022-05-28T02:02:53Z)
• Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
  独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。 我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
  論文  参考訳（メタデータ） (2021-11-05T15:52:48Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation [20.57104064155529]
  我々は,条件付き相互情報(CMI)推定を,その定式化をミニマックス最適化問題として利用して検討する。 提案した推定器は,様々なシミュレーションデータセットに対する既存手法よりも優れた推定値を提供する。 CMI推定の応用として、実データ上での条件付き独立テスト(CI)のための推定器をデプロイし、最先端のCIテスタよりも優れた結果を得る。
  論文  参考訳（メタデータ） (2020-05-17T11:22:12Z)
• DCMD: Distance-based Classification Using Mixture Distributions on Microbiome Data [10.171660468645603]
  混合分布(DCMD)を用いた距離ベース分類のための革新的な手法を提案する。 このアプローチはサンプルデータの混合分布を推定することによりスパース数に固有の不確実性をモデル化する。 結果は、既存の機械学習や距離ベースのアプローチと比較される。
  論文  参考訳（メタデータ） (2020-03-29T23:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。