論文の概要: The Information Bottleneck Problem and Its Applications in Machine Learning

• arxiv url: http://arxiv.org/abs/2004.14941v2
• Date: Fri, 1 May 2020 16:24:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:21:10.925922
• Title: The Information Bottleneck Problem and Its Applications in Machine Learning
• Title（参考訳）: インフォメーション・ボトルネック問題とその機械学習への応用
• Authors: Ziv Goldfeld and Yury Polyanskiy
• Abstract要約: 近年,機械学習システムの推論能力が急上昇し,社会の様々な側面において重要な役割を担っている。 情報ボトルネック(IB)理論は、ディープラーニング(DL)システムを分析するための大胆な情報理論パラダイムとして登場した。 本チュートリアルでは,この抽象原理の情報理論的起源と最近のDLへの影響について考察する。
• 参考スコア（独自算出の注目度）: 53.57797720793437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference capabilities of machine learning (ML) systems skyrocketed in recent years, now playing a pivotal role in various aspect of society. The goal in statistical learning is to use data to obtain simple algorithms for predicting a random variable $Y$ from a correlated observation $X$. Since the dimension of $X$ is typically huge, computationally feasible solutions should summarize it into a lower-dimensional feature vector $T$, from which $Y$ is predicted. The algorithm will successfully make the prediction if $T$ is a good proxy of $Y$, despite the said dimensionality-reduction. A myriad of ML algorithms (mostly employing deep learning (DL)) for finding such representations $T$ based on real-world data are now available. While these methods are often effective in practice, their success is hindered by the lack of a comprehensive theory to explain it. The information bottleneck (IB) theory recently emerged as a bold information-theoretic paradigm for analyzing DL systems. Adopting mutual information as the figure of merit, it suggests that the best representation $T$ should be maximally informative about $Y$ while minimizing the mutual information with $X$. In this tutorial we survey the information-theoretic origins of this abstract principle, and its recent impact on DL. For the latter, we cover implications of the IB problem on DL theory, as well as practical algorithms inspired by it. Our goal is to provide a unified and cohesive description. A clear view of current knowledge is particularly important for further leveraging IB and other information-theoretic ideas to study DL models.
• Abstract（参考訳）: 近年,機械学習(ML)システムの推論能力が急上昇し,社会の様々な側面において重要な役割を担っている。 統計学習の目標は、データを使用して、相関観測値$x$から確率変数$y$を予測する単純なアルゴリズムを得ることである。 x$ の次元は通常巨大であるため、計算可能な解はそれを低次元の特徴ベクトル $t$ にまとめ、そこから $y$ が予測される。 このアルゴリズムは、前述の次元還元にもかかわらず、もし$t$が$y$の優れたプロキシであるなら、うまく予測する。 現実世界のデータに基づいて、そのような表現を見つけるためのMLアルゴリズム(主にディープラーニング(DL))が多数提供されている。 これらの手法はしばしば実践に有効であるが、それらの成功はそれを説明する包括的な理論の欠如によって妨げられている。 情報ボトルネック(IB)理論は近年,DLシステム解析のための大胆な情報理論パラダイムとして登場した。 相互情報のメリットの図式として、最高の表現である$t$は最大で$y$に関する情報であり、相互情報の最小化は$x$である。 本稿では,この抽象原理の情報理論的起源と最近のdlへの影響について概説する。 後者では、DL理論におけるIB問題の影響と、それにインスパイアされた実用的なアルゴリズムについて述べる。 私たちの目標は統一的で団結的な説明を提供することです。 現在の知識の明確な見方は、IDBや他の情報理論のアイデアをDLモデル研究に活用するために特に重要である。

関連論文リスト

• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Spatially heterogeneous learning by a deep student machine [0.0]
  多数の調整可能なパラメータを持つディープニューラルネットワーク(DNN)は、ほとんどブラックボックスのままである。 我々は,教師学生設定と呼ばれる統計力学手法を用いて,NL$パーセプトロンと$c$入力からなるDNNと深度$L$の教師学習について検討した。 N gg c gg 1$ and $M gg 1$ with fixed $alpha=M/c$ using the replica method developed in (H. Yoshino,)
  論文  参考訳（メタデータ） (2023-02-15T01:09:03Z)
• Analysis of feature learning in weight-tied autoencoders via the mean field lens [3.553493344868413]
  平均場フレームワークにおける2層重み付き非線形オートエンコーダのクラスを解析する。 勾配降下で訓練されたモデルでは平均場制限ダイナミクスが認められる。 実生活データに関する実験は、この理論と興味深い一致を示した。
  論文  参考訳（メタデータ） (2021-02-16T18:58:37Z)
• Budget Learning via Bracketing [50.085728094234476]
  予算学習の問題は、学習者の目標として、雲の使用を最小限に抑えつつ、精度の明確な損失を被ることである。 本稿ではブラケットの概念を用いてBL問題に対する新しい定式化を提案する。 我々は、実世界のデータセットに関する我々の理論を実証的に検証し、事前ゲーティングに基づく手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-14T04:38:14Z)
• Towards Deep Learning Models Resistant to Large Perturbations [0.0]
  敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。 とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
  論文  参考訳（メタデータ） (2020-03-30T12:03:09Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)
• On the Difference Between the Information Bottleneck and the Deep Information Bottleneck [81.89141311906552]
  本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。 後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。