論文の概要: Partial information decomposition as information bottleneck

• arxiv url: http://arxiv.org/abs/2405.07665v1
• Date: Mon, 13 May 2024 11:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 13:55:08.820443
• Title: Partial information decomposition as information bottleneck
• Title（参考訳）: 情報ボトルネックとしての部分情報分解
• Authors: Artemy Kolchinsky,
• Abstract要約: 部分情報分解(PID)は、ソースのセットがターゲットに提供している冗長な情報の量を定量化することを目的としている。 我々は,この目標を情報ボトルネック(IB)問題の一種として定式化できることを示し,それを「冗長ボトルネック(RB)」と呼ぶ。 RBは予測と圧縮のトレードオフを形式化し、情報を提供するソースを明らかにすることなく、ターゲットを予測するソースから情報を抽出する。
• 参考スコア（独自算出の注目度）: 0.8806033070373618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The partial information decomposition (PID) aims to quantify the amount of redundant information that a set of sources provide about a target. Here we show that this goal can be formulated as a type of information bottleneck (IB) problem, which we term the "redundancy bottleneck" (RB). The RB formalizes a tradeoff between prediction and compression: it extracts information from the sources that predicts the target, without revealing which source provided the information. It can be understood as a generalization "Blackwell redundancy", which we previously proposed as a principled measure of PID redundancy. The "RB curve" quantifies the prediction/compression tradeoff at multiple scales. This curve can also be quantified for individual sources, allowing subsets of redundant sources to be identified without combinatorial optimization. We provide an efficient iterative algorithm for computing the RB curve.
• Abstract（参考訳）: 部分情報分解(PID)は、ソースのセットがターゲットに提供している冗長な情報の量を定量化することを目的としている。 ここでは、この目標を情報ボトルネック(IB)問題の一種として定式化できることを示し、これを「冗長ボトルネック(RB)」と呼ぶ。 RBは予測と圧縮のトレードオフを形式化し、情報を提供するソースを明らかにすることなく、ターゲットを予測するソースから情報を抽出する。 我々は以前,PID冗長性の原理的尺度として提案した「ブラックウェル冗長性」の一般化として理解することができる。 RB曲線」は、予測/圧縮トレードオフを複数のスケールで定量化する。 この曲線は個々のソースに対して定量化することもできるので、組合せ最適化なしで冗長なソースのサブセットを特定できる。 RB曲線を計算するための効率的な反復アルゴリズムを提案する。

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Rate-Distortion-Perception Tradeoff Based on the Conditional-Distribution Perception Measure [33.084834042565895]
  本研究では,大きなブロック長の制限下で,メモリレスソースモデルに対するRDPのトレードオフについて検討する。 我々の知覚尺度は、エンコーダ出力に条件付されたソースの分布と再構成シーケンスのばらつきに基づく。
  論文  参考訳（メタデータ） (2024-01-22T18:49:56Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• An Adaptive Kernel Approach to Federated Learning of Heterogeneous Causal Effects [10.248235276871256]
  本稿では,複数の分散データソースから因果関係を学習するための新たな因果関係推論フレームワークを提案する。 本稿では,データソース間の類似性を学習する適応転送アルゴリズムを提案する。 提案手法は,異なる分布を持つ分散化されたデータソースのベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-01T04:57:48Z)
• Semi-Blind Source Separation with Learned Constraints [1.2891210250935146]
  ブラインドソース分離 (BSS) アルゴリズムは、ハイパースペクトルデータ解析のための教師なしの手法である。 本稿では,予測された最小二乗アルゴリズムと学習に基づく正規化スキームを組み合わせた半教師付きソース分離手法について検討する。 これにより、物理的に解釈可能な解を提供する精度が向上し、革新的なBSSアルゴリズムが実現できることが示される。
  論文  参考訳（メタデータ） (2022-09-27T17:58:23Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)
• Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck [4.2903672492917755]
  フレキシビリティを提供するメカニズムとしてスペーサを用いた,スペーサ誘導型スパイクスラブを新たに提案する。 提案手法は従来の固定比例前の手法と比較して精度とロバスト性を向上することを示す。
  論文  参考訳（メタデータ） (2022-03-04T22:22:51Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。