論文の概要: Curse of Slicing: Why Sliced Mutual Information is a Deceptive Measure of Statistical Dependence
- arxiv url: http://arxiv.org/abs/2506.04053v1
- Date: Wed, 04 Jun 2025 15:18:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.412262
- Title: Curse of Slicing: Why Sliced Mutual Information is a Deceptive Measure of Statistical Dependence
- Title（参考訳）: スライシングのカース:スライスされた相互情報が統計的依存の知覚的尺度である理由
- Authors: Alexander Semenenko, Ivan Butakov, Alexey Frolov, Ivan Oseledets,
- Abstract要約: スライデッド・ミューチュアル・インフォメーション(SMI)は、非線形統計依存を測定するための相互情報に代わるスケーラブルな代替手段として広く利用されている。
我々はSMIが飽和しやすく、統計的依存の増大を検知できず、情報的内容よりも冗長性を優先し、場合によっては相関係数のような単純な依存度よりも悪化することを示した。
- 参考スコア（独自算出の注目度）: 45.24347017854392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sliced Mutual Information (SMI) is widely used as a scalable alternative to mutual information for measuring non-linear statistical dependence. Despite its advantages, such as faster convergence, robustness to high dimensionality, and nullification only under statistical independence, we demonstrate that SMI is highly susceptible to data manipulation and exhibits counterintuitive behavior. Through extensive benchmarking and theoretical analysis, we show that SMI saturates easily, fails to detect increases in statistical dependence (even under linear transformations designed to enhance the extraction of information), prioritizes redundancy over informative content, and in some cases, performs worse than simpler dependence measures like the correlation coefficient.
- Abstract（参考訳）: スライデッド・ミューチュアル・インフォメーション(SMI)は、非線形統計依存を測定するための相互情報に代わるスケーラブルな代替手段として広く利用されている。
高速収束,高次元性への堅牢性,統計的独立性のみによる無効化など,その優位性にもかかわらず,SMIはデータ操作に非常に敏感であり,直感的行動に反することを示す。
広範なベンチマークと理論解析により、SMIは飽和しやすく、(情報の抽出を強化するために設計された線形変換の下でも)統計的依存の増大を検知できず、情報的内容よりも冗長性を優先し、場合によっては相関係数のような単純な依存度よりも悪化することを示した。
関連論文リスト
- Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - Private Regression via Data-Dependent Sufficient Statistic Perturbation [9.58219088613742]
線形回帰に対するデータ依存型SSPを導入する。
この結果を、十分な統計量で表現できる近似的な目的を開発することにより、ロジスティック回帰に拡張する。
論文 参考訳（メタデータ） (2024-05-23T19:09:50Z) - Geometry-Aware Instrumental Variable Regression [56.16884466478886]
本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。
本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
論文 参考訳（メタデータ） (2024-05-19T17:49:33Z) - Max-Sliced Mutual Information [17.667315953598788]
高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。
2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。
本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
論文 参考訳（メタデータ） (2023-09-28T06:49:25Z) - Measuring Statistical Dependencies via Maximum Norm and Characteristic
Functions [0.0]
本稿では, 連接関数と積対角特性関数の差の最大ノルムに基づく統計的依存度尺度を提案する。
提案手法は、2つの異なる次元のランダムベクトル間の任意の統計的依存を検出することができる。
シミュレーションデータと実データの両方を用いて実験を行う。
論文 参考訳（メタデータ） (2022-08-16T20:24:31Z) - Differential privacy and robust statistics in high dimensions [49.50869296871643]
高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。
本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2021-11-12T06:36:40Z) - Causal learning with sufficient statistics: an information bottleneck
approach [3.720546514089338]
システムの変数間の条件不依存から因果情報を抽出する方法は一般的である。
我々は、システムの生成機構を規定する法則が、変数の生成関数方程式に具現化された部分構造をもたらすことが多いという事実に乗じる。
本稿では,次元削減に一般的に応用されるインフォメーション・ボトルネック法を用いて,基礎となる十分な統計量を求めることを提案する。
論文 参考訳（メタデータ） (2020-10-12T00:20:01Z) - Statistical control for spatio-temporal MEG/EEG source imaging with
desparsified multi-task Lasso [102.84915019938413]
脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。
ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。
この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
論文 参考訳（メタデータ） (2020-09-29T21:17:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。