論文の概要: Perturbation Theory for the Information Bottleneck
- arxiv url: http://arxiv.org/abs/2105.13977v1
- Date: Fri, 28 May 2021 16:59:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:21:01.614568
- Title: Perturbation Theory for the Information Bottleneck
- Title（参考訳）: 情報ボトルネックに対する摂動理論
- Authors: Vudtiwat Ngampruetikorn, David J. Schwab
- Abstract要約: 情報ボトルネック (IB) は、データから関連情報を抽出する手法である。
IB問題の非線形性は、一般に計算コストが高く解析的に難解である。
IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
- 参考スコア（独自算出の注目度）: 6.117084972237769
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Extracting relevant information from data is crucial for all forms of
learning. The information bottleneck (IB) method formalizes this, offering a
mathematically precise and conceptually appealing framework for understanding
learning phenomena. However the nonlinearity of the IB problem makes it
computationally expensive and analytically intractable in general. Here we
derive a perturbation theory for the IB method and report the first complete
characterization of the learning onset, the limit of maximum relevant
information per bit extracted from data. We test our results on synthetic
probability distributions, finding good agreement with the exact numerical
solution near the onset of learning. We explore the difference and subtleties
in our derivation and previous attempts at deriving a perturbation theory for
the learning onset and attribute the discrepancy to a flawed assumption. Our
work also provides a fresh perspective on the intimate relationship between the
IB method and the strong data processing inequality.
- Abstract（参考訳）: データから関連する情報を抽出することは、あらゆる形態の学習に不可欠である。
情報ボトルネック(IB)法はこれを形式化し、学習現象を理解するための数学的に正確で概念的に魅力的なフレームワークを提供する。
しかし、IB問題の非線形性は、一般に計算コストが高く解析的に難解である。
ここでは、IB法に対する摂動理論を導出し、データから抽出した1ビットあたりの最大関連情報の限界である学習開始の完全な特徴を報告する。
我々は,合成確率分布について実験を行い,学習開始付近の正確な数値解と良好な一致を見出した。
学習開始に対する摂動理論を導出するための従来の試みと、導出における違いと微妙さについて検討し、その相違を欠点のある仮定とみなす。
また,本研究は,ib法と強データ処理の不等式との密接な関係についての新たな視点を提供する。
関連論文リスト
- Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - Information-Theoretic Generalization Bounds for Transductive Learning and its Applications [16.408850979966623]
我々は情報理論とPAC-ベイジアン理論の文脈におけるトランスダクティブ学習アルゴリズムの一般化境界を開発する。
我々の理論結果は、合成データセットと実世界のデータセットの両方で検証される。
論文 参考訳（メタデータ） (2023-11-08T09:48:42Z) - Elastic Information Bottleneck [34.90040361806197]
情報ボトルネックは表現学習における情報理論の原則である。
IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。
シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-07T12:53:55Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。
我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
論文 参考訳（メタデータ） (2022-07-12T08:20:41Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳（メタデータ） (2022-06-20T03:09:46Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Bounding Information Leakage in Machine Learning [26.64770573405079]
本稿では,情報漏洩の基本的な境界について検討する。
最悪の会員推論攻撃の成功率を特定し、拘束します。
感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
論文 参考訳（メタデータ） (2021-05-09T08:49:14Z) - Leveraging Unlabeled Data for Entity-Relation Extraction through
Probabilistic Constraint Satisfaction [54.06292969184476]
シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。
本手法では,論理文の正確な意味を捉える意味的損失を用いる。
低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
論文 参考訳（メタデータ） (2021-03-20T00:16:29Z) - Information fusion between knowledge and data in Bayesian network
structure learning [5.994412766684843]
本稿では,オープンソースのベイジィス構造学習システムで実装された情報融合手法について述べる。
結果は、限定データとビッグデータの両方で示され、ベイジスで利用可能なBN構造学習アルゴリズムが3つ適用されている。
論文 参考訳（メタデータ） (2021-01-31T15:45:29Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。