論文の概要: Broadcast Channel Cooperative Gain: An Operational Interpretation of Partial Information Decomposition
- arxiv url: http://arxiv.org/abs/2502.10878v1
- Date: Sat, 15 Feb 2025 18:28:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:13:46.979554
- Title: Broadcast Channel Cooperative Gain: An Operational Interpretation of Partial Information Decomposition
- Title(参考訳): 放送チャンネル協調利得:部分的情報分解の操作的解釈
- Authors: Chao Tian, Shlomo Shamai,
- Abstract要約: 本稿では,分解における相乗的情報を,対応する放送チャンネル上で協調利得,あるいはこの利得の下位境界として厳密に解釈できることを示す。
この解釈は、実践者が部分的な情報分解技術の応用を説明し、拡張するのに役立ちます。
- 参考スコア(独自算出の注目度): 12.45777619198789
- License:
- Abstract: Partial information decomposition has recently found applications in biological signal processing and machine learning. Despite its impacts, the decomposition was introduced through an informal and heuristic route, and its exact operational meaning is unclear. In this work, we fill this gap by connecting partial information decomposition to the capacity of the broadcast channel, which has been well-studied in the information theory literature. We show that the synergistic information in the decomposition can be rigorously interpreted as the cooperative gain, or a lower bound of this gain, on the corresponding broadcast channel. This interpretation can help practitioners to better explain and expand the applications of the partial information decomposition technique.
- Abstract(参考訳): 部分的な情報分解は、最近生体信号処理や機械学習に応用されている。
その影響にもかかわらず、分解は非公式かつヒューリスティックな経路を通じて導入され、その正確な運用上の意味は不明である。
本研究では,このギャップを,情報理論の文献でよく研究されている放送チャンネルの容量に部分的な情報分解を接続することで埋める。
本稿では,分解における相乗的情報を,対応する放送チャンネル上で協調利得,あるいはこの利得の下位境界として厳密に解釈できることを示す。
この解釈は、実践者が部分的な情報分解技術の応用を説明し、拡張するのに役立ちます。
関連論文リスト
- Information Plane Analysis Visualization in Deep Learning via Transfer Entropy [0.0]
フィードフォワードネットワークでは、Transfer Entropyを使用して、ある層が他の層に与える影響を測定することができる。
相互情報とは対照的に、TEは変数間の時間的関係を捉えることができる。
論文 参考訳(メタデータ) (2024-04-01T17:34:18Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳(メタデータ) (2023-11-03T03:18:40Z) - Interpretable Diffusion via Information Decomposition [42.16196396888697]
拡散モデルにより学習された関係を,拡散と情報分解の正確な関係に注意して照らし出す。
拡散モデルでは、相互情報の自然な非負分解が出現し、画像中の単語と画素間の情報的関係を定量化できることを示す。
論文 参考訳(メタデータ) (2023-10-12T01:40:20Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳(メタデータ) (2022-06-09T16:24:01Z) - The Distributed Information Bottleneck reveals the explanatory structure
of complex systems [1.52292571922932]
Information Bottleneck (IB) は、入力と出力の関係を理解するための情報理論フレームワークである。
我々は、入力の複数のコンポーネントにボトルネックを分散する重要な修正が、科学における解釈可能なディープラーニングのための根本的に新しい道を開くことを示しています。
応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
論文 参考訳(メタデータ) (2022-04-15T17:59:35Z) - Analyzing Wrap-Up Effects through an Information-Theoretic Lens [96.02309964375983]
本研究は,ラップアップ効果と情報理論量との関係について検討する。
先行文脈における情報の分布は文末RTや節末RTで予測されることが多い。
論文 参考訳(メタデータ) (2022-03-31T17:41:03Z) - Investigating Shifts in GAN Output-Distributions [5.076419064097734]
本稿では,実学習データとGAN生成データの分布の可観測的変化を系統的に調査するためのループ学習手法を提案する。
全体として、これらの手法を組み合わせることで、現在のGANアルゴリズムの自然的制限を爆発的に調査することができる。
論文 参考訳(メタデータ) (2021-12-28T09:16:55Z) - StreamHover: Livestream Transcript Summarization and Annotation [54.41877742041611]
ライブストリームの書き起こしを注釈付けして要約するフレームワークであるStreamHoverを紹介します。
合計500時間以上のビデオに抽出的要約と抽象的要約を併用したベンチマークデータセットは,既存の注釈付きコーパスよりもはるかに大きい。
我々のモデルはより一般化され、強力なベースラインよりも性能が向上することを示す。
論文 参考訳(メタデータ) (2021-09-11T02:19:37Z) - Cross-Supervised Joint-Event-Extraction with Heterogeneous Information
Networks [61.950353376870154]
Joint-event- Extractは、トリガとエンティティのタグからなるタグセットを備えたシーケンスからシーケンスまでのラベリングタスクである。
トリガやエンティティの抽出を交互に監督するクロススーパーバイザードメカニズム(CSM)を提案する。
我々の手法は、エンティティとトリガー抽出の両方において最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2020-10-13T11:51:17Z) - Ontology-based Interpretable Machine Learning for Textual Data [35.01650633374998]
本稿では,予測モデルを説明するためのサンプリング手法に基づいて,解釈可能なモデルを学習する新しい解釈フレームワークを提案する。
説明のために探索空間を狭めるために,学習可能なアンカーアルゴリズムを設計する。
さらに、学習された解釈可能な表現とアンカーを組み合わせることで、理解可能な説明を生成する一連の規則が導入された。
論文 参考訳(メタデータ) (2020-04-01T02:51:57Z) - Forgetting Outside the Box: Scrubbing Deep Networks of Information
Accessible from Input-Output Observations [143.3053365553897]
本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。
忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。
我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
論文 参考訳(メタデータ) (2020-03-05T23:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。