論文の概要: Information-Theoretic Measures on Lattices for High-Order Interactions
- arxiv url: http://arxiv.org/abs/2408.07533v3
- Date: Tue, 11 Mar 2025 14:19:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:35:09.397869
- Title: Information-Theoretic Measures on Lattices for High-Order Interactions
- Title（参考訳）: 高次相互作用のための格子情報理論
- Authors: Zhaolu Liu, Mauricio Barahona, Robert L. Peach,
- Abstract要約: 格子理論に基づく多変量データの高次情報理論測度を導出する枠組みを提案する。
このフレームワークでよく使われる測度の多くは導出可能であるが、$d>3$ですべての相互作用をキャプチャすることができない。
$d$変数間のすべてのインタラクションを完全に特徴付けるために、フルパーティション格子上で定義されたStreitberg Informationを導入します。
- 参考スコア（独自算出の注目度）: 0.7373617024876725
- License:
- Abstract: Traditional measures based solely on pairwise associations often fail to capture the complex statistical structure of multivariate data. Existing approaches for identifying information shared among $d>3$ variables are frequently computationally intractable, asymmetric with respect to a target variable, or unable to account for all the ways in which the joint probability distribution can be factorised. Here we present a systematic framework based on lattice theory to derive higher-order information-theoretic measures for multivariate data. Our construction uses lattice and operator function pairs, whereby an operator function is applied over a lattice that represents the algebraic relationships among variables. We show that many commonly used measures can be derived within this framework, yet they fail to capture all interactions for $d>3$, either because they are defined on restricted sublattices, or because the use of the KL divergence as an operator function, a typical choice, leads to undesired disregard of groups of interactions. To fully characterise all interactions among $d$ variables, we introduce the Streitberg Information, which is defined over the full partition lattice and uses generalised divergences (beyond KL) as operator functions. We validate the Streitberg Information on synthetic data, and illustrate its application in detecting complex interactions among stocks, decoding neural signals, and performing feature selection in machine learning.
- Abstract（参考訳）: 対関係のみに基づく伝統的な測度は、多変量データの複雑な統計構造を捉えるのに失敗することが多い。
既存の$d>3$変数間で共有される情報を特定するアプローチは、しばしば計算的に抽出可能であり、対象変数に対して非対称である。
本稿では,多変量データに対する高次情報理論を導出する格子理論に基づく体系的枠組みを提案する。
我々の構成では格子と作用素関数のペアを使用し、変数間の代数的関係を表す格子の上に作用素関数を適用する。
このフレームワークでよく使われる測度の多くは導出可能であるが、制限された部分格子上で定義されるか、KLの発散を演算関数として用いることが典型的選択であり、相互作用のグループを無視しているため、$d>3$で全ての相互作用をキャプチャできない。
$d$変数間の全ての相互作用をフルに特徴付けるために、Streitberg Informationを導入し、これは完全な分割格子上で定義され、一般化された発散(KL)を演算関数として利用する。
我々はStreitberg Informationを合成データで検証し、ストック間の複雑な相互作用の検出、ニューラル信号の復号化、機械学習における特徴選択の実施におけるその応用について説明する。
関連論文リスト
- Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive
Noise Models [48.33685559041322]
本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。
提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
論文 参考訳（メタデータ） (2023-06-30T01:48:11Z) - Interaction Measures, Partition Lattices and Kernel Tests for High-Order
Interactions [1.9457612782595313]
2つ以上の変数のグループ間の非自明な依存関係は、そのようなシステムの分析とモデリングにおいて重要な役割を果たす。
我々は、結合確率分布の因数分解をますます含む、$d$-order$d geq 2$)相互作用測度の階層を導入する。
また、相互作用測度とそれらの複合置換試験の導出を解明する格子理論と数学的リンクを確立する。
論文 参考訳（メタデータ） (2023-06-01T16:59:37Z) - High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data [2.2871867623460207]
多くのアプリケーションでは、データは異なるタイプの変数にまたがる。
最近の進歩は、バイナリ連続ケースにどのように取り組めるかを示しているが、一般的な混合変数型構造は依然として困難である。
完全混合型の変数を持つデータに対して,フレキシブルでスケーラブルな手法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:21:31Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳（メタデータ） (2021-10-12T02:21:30Z) - Link Prediction on N-ary Relational Data Based on Relatedness Evaluation [61.61555159755858]
我々は,n-aryリレーショナルデータ上でリンク予測を行うNaLPという手法を提案する。
各 n 個の関係事実を、その役割と役割と値のペアの集合として表現する。
実験結果は,提案手法の有効性と有用性を検証した。
論文 参考訳（メタデータ） (2021-04-21T09:06:54Z) - The Role of Mutual Information in Variational Classifiers [47.10478919049443]
クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。
我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
論文 参考訳（メタデータ） (2020-10-22T12:27:57Z) - Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。
我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。
まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
論文 参考訳（メタデータ） (2020-08-19T16:04:34Z) - Multi-Partition Embedding Interaction with Block Term Format for
Knowledge Graph Completion [3.718476964451589]
知識グラフ埋め込み法は、実体と関係を埋め込みベクトルとして表現することでタスクを実行する。
従来の作業は通常、各埋め込み全体を扱い、これらの埋め込み全体間の相互作用をモデル化してきた。
本稿では,ブロック項形式を用いたマルチパーティション埋め込み相互作用(MEI)モデルを提案し,この問題に対処する。
論文 参考訳（メタデータ） (2020-06-29T20:37:11Z) - Robust Generalization via $\alpha$-Mutual Information [24.40306100502023]
R'enyi $alpha$-DivergencesとSibsonの$alpha$-Mutual Informationを使って、同じ事象の2つの確率測度を接続するバウンド。
結果は、学習アルゴリズムの一般化誤差の境界から、適応データ分析のより一般的なフレームワークまで幅広い応用がある。
論文 参考訳（メタデータ） (2020-01-14T11:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。