論文の概要: The Information Bottleneck Problem and Its Applications in Machine
Learning
- arxiv url: http://arxiv.org/abs/2004.14941v2
- Date: Fri, 1 May 2020 16:24:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 03:21:10.925922
- Title: The Information Bottleneck Problem and Its Applications in Machine
Learning
- Title(参考訳): インフォメーション・ボトルネック問題とその機械学習への応用
- Authors: Ziv Goldfeld and Yury Polyanskiy
- Abstract要約: 近年,機械学習システムの推論能力が急上昇し,社会の様々な側面において重要な役割を担っている。
情報ボトルネック(IB)理論は、ディープラーニング(DL)システムを分析するための大胆な情報理論パラダイムとして登場した。
本チュートリアルでは,この抽象原理の情報理論的起源と最近のDLへの影響について考察する。
- 参考スコア(独自算出の注目度): 53.57797720793437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inference capabilities of machine learning (ML) systems skyrocketed in recent
years, now playing a pivotal role in various aspect of society. The goal in
statistical learning is to use data to obtain simple algorithms for predicting
a random variable $Y$ from a correlated observation $X$. Since the dimension of
$X$ is typically huge, computationally feasible solutions should summarize it
into a lower-dimensional feature vector $T$, from which $Y$ is predicted. The
algorithm will successfully make the prediction if $T$ is a good proxy of $Y$,
despite the said dimensionality-reduction. A myriad of ML algorithms (mostly
employing deep learning (DL)) for finding such representations $T$ based on
real-world data are now available. While these methods are often effective in
practice, their success is hindered by the lack of a comprehensive theory to
explain it. The information bottleneck (IB) theory recently emerged as a bold
information-theoretic paradigm for analyzing DL systems. Adopting mutual
information as the figure of merit, it suggests that the best representation
$T$ should be maximally informative about $Y$ while minimizing the mutual
information with $X$. In this tutorial we survey the information-theoretic
origins of this abstract principle, and its recent impact on DL. For the
latter, we cover implications of the IB problem on DL theory, as well as
practical algorithms inspired by it. Our goal is to provide a unified and
cohesive description. A clear view of current knowledge is particularly
important for further leveraging IB and other information-theoretic ideas to
study DL models.
- Abstract(参考訳): 近年,機械学習(ML)システムの推論能力が急上昇し,社会の様々な側面において重要な役割を担っている。
統計学習の目標は、データを使用して、相関観測値$x$から確率変数$y$を予測する単純なアルゴリズムを得ることである。
x$ の次元は通常巨大であるため、計算可能な解はそれを低次元の特徴ベクトル $t$ にまとめ、そこから $y$ が予測される。
このアルゴリズムは、前述の次元還元にもかかわらず、もし$t$が$y$の優れたプロキシであるなら、うまく予測する。
現実世界のデータに基づいて、そのような表現を見つけるためのMLアルゴリズム(主にディープラーニング(DL))が多数提供されている。
これらの手法はしばしば実践に有効であるが、それらの成功はそれを説明する包括的な理論の欠如によって妨げられている。
情報ボトルネック(IB)理論は近年,DLシステム解析のための大胆な情報理論パラダイムとして登場した。
相互情報のメリットの図式として、最高の表現である$t$は最大で$y$に関する情報であり、相互情報の最小化は$x$である。
本稿では,この抽象原理の情報理論的起源と最近のdlへの影響について概説する。
後者では、DL理論におけるIB問題の影響と、それにインスパイアされた実用的なアルゴリズムについて述べる。
私たちの目標は統一的で団結的な説明を提供することです。
現在の知識の明確な見方は、IDBや他の情報理論のアイデアをDLモデル研究に活用するために特に重要である。
関連論文リスト
- Scalable Learning of Item Response Theory Models [53.43355949923962]
項目応答理論(IRT)モデルは、分類データから、$m$テスト項目の遅延困難特性とともに、$n$試験の潜時能力を評価することを目的としている。
我々はこれらのモデルの類似性をロジスティック回帰に利用し、コアセットと呼ばれる小さな重み付き部分集合を用いて正確に近似することができる。
論文 参考訳(メタデータ) (2024-03-01T17:12:53Z) - Meta-Learning Operators to Optimality from Multi-Task Non-IID Data [1.7587442088965224]
すべてのデータを使って共通の表現関数を学ぶことは、計算の労力と統計的一般化の両方に利益がある。
既存の異方性に依存しないメタラーニングは、表現更新に偏りを生じさせるため、ノイズ項のスケーリングは、ソースタスクの数に好ましくない。
我々は、Collins et al. (2021) で提案された交互化最小化退化スキームの適応 $texttDFW$ を導入し、最適な表現に線形収束を確立する。
論文 参考訳(メタデータ) (2023-08-08T17:56:20Z) - An Information-Theoretic Analysis for Transfer Learning: Error Bounds
and Applications [5.081241420920605]
本稿では,伝達学習アルゴリズムの一般化誤差と過剰リスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
そこで本研究では,ソースデータとターゲットデータの重み付けを適応的に調整するInfoBoostアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-12T08:20:41Z) - Analysis of feature learning in weight-tied autoencoders via the mean
field lens [3.553493344868413]
平均場フレームワークにおける2層重み付き非線形オートエンコーダのクラスを解析する。
勾配降下で訓練されたモデルでは平均場制限ダイナミクスが認められる。
実生活データに関する実験は、この理論と興味深い一致を示した。
論文 参考訳(メタデータ) (2021-02-16T18:58:37Z) - Budget Learning via Bracketing [50.085728094234476]
予算学習の問題は、学習者の目標として、雲の使用を最小限に抑えつつ、精度の明確な損失を被ることである。
本稿ではブラケットの概念を用いてBL問題に対する新しい定式化を提案する。
我々は、実世界のデータセットに関する我々の理論を実証的に検証し、事前ゲーティングに基づく手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2020-04-14T04:38:14Z) - Towards Deep Learning Models Resistant to Large Perturbations [0.0]
敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
論文 参考訳(メタデータ) (2020-03-30T12:03:09Z) - An Information-Theoretic Approach to Personalized Explainable Machine
Learning [92.53970625312665]
本稿では,予測とユーザ知識のための簡易確率モデルを提案する。
説明と予測の間の条件付き相互情報による説明の効果を定量化する。
論文 参考訳(メタデータ) (2020-03-01T13:06:29Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳(メタデータ) (2020-02-25T06:09:30Z) - On the Difference Between the Information Bottleneck and the Deep
Information Bottleneck [81.89141311906552]
本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。
後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
論文 参考訳(メタデータ) (2019-12-31T18:31:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。