論文の概要: Information-Theoretic Measures on Lattices for High-Order Interactions
- arxiv url: http://arxiv.org/abs/2408.07533v2
- Date: Thu, 10 Oct 2024 18:17:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 07:40:14.563838
- Title: Information-Theoretic Measures on Lattices for High-Order Interactions
- Title（参考訳）: 高次相互作用のための格子情報理論
- Authors: Zhaolu Liu, Mauricio Barahona, Robert L. Peach,
- Abstract要約: 格子と演算関数のペアを用いた高次情報理論測度を導出する体系的枠組みを提案する。
この枠組みでは,多くのよく用いられる測度が導出可能であるが,分割格子の格子に制限されることがしばしばある。
$d$変数間の全ての相互作用をフルに特徴付けるために、KL発散の一般化を演算関数として用いたStreitberg Informationを導入する。
- 参考スコア（独自算出の注目度）: 0.7373617024876725
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Traditional models based solely on pairwise associations often fail to capture the complex statistical structure of multivariate data. Existing approaches for identifying information shared among groups of $d>3$ variables are frequently computationally intractable, asymmetric with respect to a target variable, or unable to account for all factorisations of the joint probability distribution. We present a systematic framework that derives higher-order information-theoretic measures using lattice and operator function pairs, whereby the lattice representing the algebraic relationships among variables, with operator functions that compute the measures over the lattice. We show that many commonly used measures can be derived within this framework, however they are often restricted to sublattices of the partition lattice, which prevents them from capturing all interactions when $d>3$. We also demonstrate that KL divergence, when used as an operator function, leads to unwanted cancellation of interactions for $d>3$. To fully characterise all interactions among $d$ variables, we introduce the Streitberg Information, using generalisations of KL divergence as an operator function, and defined over the full partition lattice. We validate Streitberg Information numerically on synthetic data, and illustrate its application in analysing complex interactions among stocks, decoding neural signals, and performing feature selection in machine learning.
- Abstract（参考訳）: 対関係のみに基づく伝統的なモデルは、多変量データの複雑な統計構造を捉えるのに失敗することが多い。
既存の$d>3$変数のグループ間で共有される情報を識別するためのアプローチは、しばしば計算的に抽出可能であり、対象変数に対して非対称であり、結合確率分布のすべての因数分解を考慮できない。
格子と作用素関数対を用いた高次情報理論測度を導出する体系的枠組みを提案し、格子上の測度を計算する演算関数を持つ変数間の代数的関係を表す格子について述べる。
このフレームワークでよく使われる測度の多くは導出可能であるが、分割格子の部分格子に制限されることがしばしばあり、$d>3$のときにすべての相互作用をキャプチャできない。
また、KLの発散が演算関数として使われると、$d>3$の相互作用が不要になることを示した。
$d$変数間の全ての相互作用をフルに特徴付けるために、KL発散を演算関数として一般化したStreitberg Informationを導入し、完全なパーティション格子上で定義する。
合成データに基づいてStreitberg Informationを数値的に検証し、ストック間の複雑な相互作用を分析し、ニューラルネットワークをデコードし、機械学習における特徴選択を行う。
関連論文リスト
- Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive
Noise Models [48.33685559041322]
本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。
提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
論文 参考訳（メタデータ） (2023-06-30T01:48:11Z) - Interaction Measures, Partition Lattices and Kernel Tests for High-Order
Interactions [1.9457612782595313]
2つ以上の変数のグループ間の非自明な依存関係は、そのようなシステムの分析とモデリングにおいて重要な役割を果たす。
我々は、結合確率分布の因数分解をますます含む、$d$-order$d geq 2$)相互作用測度の階層を導入する。
また、相互作用測度とそれらの複合置換試験の導出を解明する格子理論と数学的リンクを確立する。
論文 参考訳（メタデータ） (2023-06-01T16:59:37Z) - High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data [2.2871867623460207]
多くのアプリケーションでは、データは異なるタイプの変数にまたがる。
最近の進歩は、バイナリ連続ケースにどのように取り組めるかを示しているが、一般的な混合変数型構造は依然として困難である。
完全混合型の変数を持つデータに対して,フレキシブルでスケーラブルな手法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:21:31Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳（メタデータ） (2021-10-12T02:21:30Z) - Link Prediction on N-ary Relational Data Based on Relatedness Evaluation [61.61555159755858]
我々は,n-aryリレーショナルデータ上でリンク予測を行うNaLPという手法を提案する。
各 n 個の関係事実を、その役割と役割と値のペアの集合として表現する。
実験結果は,提案手法の有効性と有用性を検証した。
論文 参考訳（メタデータ） (2021-04-21T09:06:54Z) - The Role of Mutual Information in Variational Classifiers [47.10478919049443]
クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。
我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
論文 参考訳（メタデータ） (2020-10-22T12:27:57Z) - Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。
我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。
まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
論文 参考訳（メタデータ） (2020-08-19T16:04:34Z) - Multi-Partition Embedding Interaction with Block Term Format for
Knowledge Graph Completion [3.718476964451589]
知識グラフ埋め込み法は、実体と関係を埋め込みベクトルとして表現することでタスクを実行する。
従来の作業は通常、各埋め込み全体を扱い、これらの埋め込み全体間の相互作用をモデル化してきた。
本稿では,ブロック項形式を用いたマルチパーティション埋め込み相互作用(MEI)モデルを提案し,この問題に対処する。
論文 参考訳（メタデータ） (2020-06-29T20:37:11Z) - Robust Generalization via $\alpha$-Mutual Information [24.40306100502023]
R'enyi $alpha$-DivergencesとSibsonの$alpha$-Mutual Informationを使って、同じ事象の2つの確率測度を接続するバウンド。
結果は、学習アルゴリズムの一般化誤差の境界から、適応データ分析のより一般的なフレームワークまで幅広い応用がある。
論文 参考訳（メタデータ） (2020-01-14T11:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。