論文の概要: Bits and Pieces: Understanding Information Decomposition from Part-whole
Relationships and Formal Logic
- arxiv url: http://arxiv.org/abs/2008.09535v2
- Date: Mon, 7 Mar 2022 14:56:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 22:22:09.024532
- Title: Bits and Pieces: Understanding Information Decomposition from Part-whole
Relationships and Formal Logic
- Title（参考訳）: bits and pieces: part-wholeリレーションと形式論理からの情報分解の理解
- Authors: Aaron J. Gutknecht, Michael Wibral, Abdullah Makkeh
- Abstract要約: 本稿では,情報提供者間の初等部分的関係を考慮し,部分的情報分解の理論全体を導出できることを示す。
特に、ソース実現に関する特定の言明から提供される情報に基づいて、PIDの尺度を定義する方法について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Partial information decomposition (PID) seeks to decompose the multivariate
mutual information that a set of source variables contains about a target
variable into basic pieces, the so called "atoms of information". Each atom
describes a distinct way in which the sources may contain information about the
target. In this paper we show, first, that the entire theory of partial
information decomposition can be derived from considerations of elementary
parthood relationships between information contributions. This way of
approaching the problem has the advantage of directly characterizing the atoms
of information, instead of taking an indirect approach via the concept of
redundancy. Secondly, we describe several intriguing links between PID and
formal logic. In particular, we show how to define a measure of PID based on
the information provided by certain statements about source realizations.
Furthermore, we show how the mathematical lattice structure underlying PID
theory can be translated into an isomorphic structure of logical statements
with a particularly simple ordering relation: logical implication. The
conclusion to be drawn from these considerations is that there are three
isomorphic "worlds" of partial information decomposition, i.e. three equivalent
ways to mathematically describe the decomposition of the information carried by
a set of sources about a target: the world of parthood relationships, the world
of logical statements, and the world of antichains that was utilized by
Williams and Beer in their original exposition of PID theory. We additionally
show how the parthood perspective provides a systematic way to answer a type of
question that has been much discussed in the PID field: whether a partial
information decomposition can be uniquely determined based on concepts other
than redundant information.
- Abstract（参考訳）: 部分情報分解(PID)は、ソース変数の集合が対象変数について含む多変量相互情報を基本要素(いわゆる「情報の原子」)に分解しようとする。
それぞれの原子は、ソースがターゲットに関する情報を含むことができる異なる方法を記述する。
本稿では,まず,情報提供者間の初等的部分的関係を考慮し,部分的情報分解の理論全体を導出できることを示す。
この問題にアプローチする方法には、冗長性の概念を通じて間接的なアプローチを取るのではなく、情報の原子を直接特徴付けるという利点がある。
次に,PIDと形式論理のリンクについて述べる。
特に、ソース実現に関する特定の言明から提供される情報に基づいて、PIDの尺度を定義する方法について述べる。
さらに、PID理論の基盤となる数学的格子構造が、特に単純な順序関係を持つ論理文の同型構造にどのように変換できるかを示す。
これらの考察から導かれる結論は、部分的情報分解の3つの同型的「世界」、すなわち、対象に関する一連の情報源によって運ばれた情報の分解を数学的に記述する3つの等価な方法、すなわち、ウィリアムズとベーアが元のPID理論の解説で利用した部分的関係の世界、論理的ステートメントの世界、および反鎖の世界であるということである。
さらに,部分的な情報分解が冗長な情報以外の概念に基づいて一意的に決定できるかどうかについて,pid分野でよく議論されているような質問に対して,parthood perspectiveが体系的に答える方法を示す。
関連論文リスト
- On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [55.2480439325792]
逐次的意思決定問題において、情報構造とは、異なる時点に発生するシステム内の事象が相互にどのように影響するかを記述するものである。
対照的に、現実のシーケンシャルな意思決定問題は通常、システム変数の複雑で時間的な相互依存を伴う。
情報構造を明示する新しい強化学習モデルを定式化する。
論文 参考訳（メタデータ） (2024-03-01T21:28:19Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳（メタデータ） (2023-08-24T16:06:36Z) - Quantum Partial Information Decomposition [0.0]
部分情報分解 (Partial Information Decomposition, PID) は、情報2変数$A,B$を別の部分に分解するシャノンの理論の1段階を超えている。
これらの概念を量子環境でどのように定義するかを示す。
論文 参考訳（メタデータ） (2023-08-08T18:06:37Z) - PTR: A Benchmark for Part-based Conceptual, Relational, and Physical
Reasoning [135.2892665079159]
PTRと呼ばれる大規模診断用視覚推論データセットを新たに導入する。
PTRは70kのRGBD合成画像と地上の真実のオブジェクトと部分レベルのアノテーションを含んでいる。
このデータセット上で、いくつかの最先端の視覚的推論モデルを調べ、それらがまだ多くの驚くべき誤りを犯していることを観察する。
論文 参考訳（メタデータ） (2021-12-09T18:59:34Z) - A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。
これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。
本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-08T18:08:36Z) - Entropy, Information, and the Updating of Probabilities [0.0]
本稿では,推論の一般的な枠組みとして,最大エントロピー法に対する特定のアプローチを概説する。
ME法は1つの後部の単なる選択を越えているが、他の分布がどれだけ少ないかという問題にも対処する。
論文 参考訳（メタデータ） (2021-07-09T16:27:23Z) - A Rigorous Information-Theoretic Definition of Redundancy and Relevancy
in Feature Selection Based on (Partial) Information Decomposition [0.0483420384410068]
情報理論は、変数の集合が対象に与える情報を、ユニークで冗長でシナジスティックなコントリビューションに分解する手段を提供していない、と我々は主張する。
部分情報分解(PID)を用いて,PID用語における特徴関連性と冗長性の新たな定義を提供する。
実用的特徴選択のための反復的CMIに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T08:33:10Z) - Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
我々は,複雑な質問をより単純な質問に分解する手法を提案する。
事前定義された推論テンプレートの指示に従って最終回答を導出する。
我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
論文 参考訳（メタデータ） (2021-04-05T18:56:56Z) - Submodular Combinatorial Information Measures with Applications in
Machine Learning [2.5329739965085785]
エントロピーや相互情報のような情報理論の量は、機械学習で多くの用途を見出した。
本研究では,独立性,(条件)エントロピー,(条件)相互情報,および変数の集合上で定義された総相関を一般化する情報尺度について検討する。
論文 参考訳（メタデータ） (2020-06-27T17:45:32Z) - Learning Compositional Neural Information Fusion for Human Parsing [181.48380078517525]
我々はこのアプローチを神経情報融合フレームワークとして定式化する。
我々のモデルは階層上の3つの推論プロセスから情報を収集する。
モデル全体がエンドツーエンドで識別可能であり、情報フローと構造を明示的にモデル化する。
論文 参考訳（メタデータ） (2020-01-19T10:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。