論文の概要: Variational $f$-Divergence and Derangements for Discriminative Mutual Information Estimation

• arxiv url: http://arxiv.org/abs/2305.20025v1
• Date: Wed, 31 May 2023 16:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:13:44.511599
• Title: Variational $f$-Divergence and Derangements for Discriminative Mutual Information Estimation
• Title（参考訳）: 判別的相互情報推定のための変分$f$-divergenceとderangements
• Authors: Nunzio A. Letizia, Nicola Novello, Andrea M. Tonello
• Abstract要約: 本稿では,$f$-divergenceの変動表現に基づく識別的相互情報推定手法を提案する。 参照シナリオの実験により、我々の手法は精度と複雑さの両方で最先端の神経推定器より優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.114444605090134
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The accurate estimation of the mutual information is a crucial task in various applications, including machine learning, communications, and biology, since it enables the understanding of complex systems. High-dimensional data render the task extremely challenging due to the amount of data to be processed and the presence of convoluted patterns. Neural estimators based on variational lower bounds of the mutual information have gained attention in recent years but they are prone to either high bias or high variance as a consequence of the partition function. We propose a novel class of discriminative mutual information estimators based on the variational representation of the $f$-divergence. We investigate the impact of the permutation function used to obtain the marginal training samples and present a novel architectural solution based on derangements. The proposed estimator is flexible as it exhibits an excellent bias/variance trade-off. Experiments on reference scenarios demonstrate that our approach outperforms state-of-the-art neural estimators both in terms of accuracy and complexity.
• Abstract（参考訳）: 複雑なシステムの理解を可能にするため、相互情報の正確な推定は機械学習、コミュニケーション、生物学など様々な応用において重要なタスクである。 高次元データは、処理すべきデータの量と複雑なパターンが存在するため、タスクを極めて困難にします。 近年, 相互情報の変動的下界に基づくニューラル推定器が注目されているが, 分割関数の結果, 偏差が大きいか, 偏差が大きいかの傾向がみられる。 我々は,$f$-divergenceの変動表現に基づく識別的相互情報推定器の新たなクラスを提案する。 限界トレーニングサンプルを得るために使用する置換関数の影響について検討し, 分散に基づく新しいアーキテクチャソリューションを提案する。 提案した推定器は優れたバイアス/分散トレードオフを示すため柔軟である。 参照シナリオの実験により、我々のアプローチは精度と複雑さの両面で最先端の神経推定器より優れていることが示された。

関連論文リスト

• DiffusionCounterfactuals: Inferring High-dimensional Counterfactuals with Guidance of Causal Representations [18.973047393598346]
  本稿では,因果的メカニズムと拡散モデルを組み込んだ新しいフレームワークを提案する。 提案手法では, モデルが精度の高い反現実的高次元データを連続的に生成することのできる, 理論上基礎付けられた新しいトレーニングとサンプリングプロセスを導入する。
  論文  参考訳（メタデータ） (2024-07-30T05:15:19Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• REMEDI: Corrective Transformations for Improved Neural Entropy Estimation [0.7488108981865708]
  我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。 提案手法は,幅広い推定課題にまたがる改善を実証する。 自然に情報理論による教師あり学習モデルに拡張することができる。
  論文  参考訳（メタデータ） (2024-02-08T14:47:37Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
  情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。 現実世界の応用にはいくつかの望ましい性質がある。 しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
  論文  参考訳（メタデータ） (2020-10-08T07:22:16Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。