論文の概要: How Does Information Bottleneck Help Deep Learning?

• arxiv url: http://arxiv.org/abs/2305.18887v1
• Date: Tue, 30 May 2023 09:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 17:10:15.918402
• Title: How Does Information Bottleneck Help Deep Learning?
• Title（参考訳）: 情報基盤はディープラーニングにどのように役立つか
• Authors: Kenji Kawaguchi, Zhun Deng, Xu Ji, Jiaoyang Huang
• Abstract要約: 深層学習における情報ボトルネックの利点を正当化するために,我々は最初の厳密な学習理論を提供する。 我々の理論は、情報ボトルネックの制御が、ディープラーニングにおける一般化エラーを制御する一つの方法であることを証明している。 本稿では,情報ボトルネックのレンズによる現在および将来の手法の理論的基礎を提供する。
• 参考スコア（独自算出の注目度）: 28.571400486763075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous deep learning algorithms have been inspired by and understood via the notion of information bottleneck, where unnecessary information is (often implicitly) minimized while task-relevant information is maximized. However, a rigorous argument for justifying why it is desirable to control information bottlenecks has been elusive. In this paper, we provide the first rigorous learning theory for justifying the benefit of information bottleneck in deep learning by mathematically relating information bottleneck to generalization errors. Our theory proves that controlling information bottleneck is one way to control generalization errors in deep learning, although it is not the only or necessary way. We investigate the merit of our new mathematical findings with experiments across a range of architectures and learning settings. In many cases, generalization errors are shown to correlate with the degree of information bottleneck: i.e., the amount of the unnecessary information at hidden layers. This paper provides a theoretical foundation for current and future methods through the lens of information bottleneck. Our new generalization bounds scale with the degree of information bottleneck, unlike the previous bounds that scale with the number of parameters, VC dimension, Rademacher complexity, stability or robustness. Our code is publicly available at: https://github.com/xu-ji/information-bottleneck
• Abstract（参考訳）: 多くのディープラーニングアルゴリズムは、不要な情報が(しばしば暗黙的に)最小化され、タスク関連の情報が最大化される情報ボトルネックの概念にインスパイアされ、理解されている。 しかし、情報のボトルネックを制御することが望ましい理由を正当化する厳格な議論が発覚した。 本稿では,情報ボトルネックと一般化誤差を数学的に関連付けることで,深層学習における情報ボトルネックのメリットを正当化する最初の厳密な学習理論を提案する。 本理論は,情報ボトルネックの制御が深層学習における一般化誤差を制御する一つの方法であることを示すものである。 我々は,新しい数学的発見のメリットを,様々なアーキテクチャと学習環境にまたがる実験によって検証する。 多くの場合、一般化誤差は情報ボトルネックの程度、すなわち隠蔽層における不要な情報の量と相関することが示される。 本稿では,情報ボトルネックのレンズによる現在および将来の手法の理論的基礎を提供する。 我々の新しい一般化は、パラメータの数、VC次元、ラデマッハの複雑さ、安定性、堅牢さとスケールする以前の境界とは異なり、情報のボトルネックの程度でスケールする。 私たちのコードは、https://github.com/xu-ji/information-bottleneckで公開されています。

関連論文リスト

• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• From Weakly Supervised Learning to Active Learning [1.52292571922932]
  この論文は、教師付き学習よりも汎用的なフレームワークを導き出せるか? 私たちは、ユニークなターゲットではなく、ターゲット候補のセットを与えるものとして、弱い監督をモデル化します。 我々は、ほとんどの観測値と一致する楽観的な'関数を求めるべきだと論じる。これにより、部分ラベルを曖昧にするための原則を導出できる。
  論文  参考訳（メタデータ） (2022-09-23T14:55:43Z)
• Efficient algorithms for quantum information bottleneck [64.67104066707309]
  本稿では,情報ボトルネックの量子一般化のための新しい一般アルゴリズムを提案する。 本アルゴリズムは, 先行結果と比較して, 収束の速度と定性に優れる。 特に、量子システムは、量子情報のボトルネックに関して、同じ大きさの古典的なシステムよりも厳格に優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-08-22T14:20:05Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets [4.278591555984394]
  アルゴリズムによって生成された小さなデータセット上でのニューラルネットワークの一般化について検討する。 ニューラルネットワークは、データ内のパターンを"グロキング"するプロセスを通じて学習することを示す。 これらのデータセットは、ディープラーニングの理解の不十分な側面を研究するための、肥大した土台である、と我々は主張する。
  論文  参考訳（メタデータ） (2022-01-06T18:43:37Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• When is Memorization of Irrelevant Training Data Necessary for High-Accuracy Learning? [53.523017945443115]
  我々は,十分な精度のトレーニングアルゴリズムが,予測モデルにおいて,そのトレーニング例の大規模サブセットに関する情報を本質的にすべてエンコードしなければならない自然予測問題を記述する。 私たちの結果は、トレーニングアルゴリズムや学習に使用されるモデルのクラスに依存しません。
  論文  参考訳（メタデータ） (2020-12-11T15:25:14Z)
• On the Relevance-Complexity Region of Scalable Information Bottleneck [15.314757778110955]
  本稿では,エンコーダが観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。 問題の動機は、一般化の許容レベルに応じて様々なレベルの精度を必要とする、いくつかのアプリケーションシナリオにある。
  論文  参考訳（メタデータ） (2020-11-02T22:25:28Z)
• On the Information Bottleneck Problems: Models, Connections, Applications and Information Theoretic Views [39.49498500593645]
  本チュートリアルでは,情報理論の観点からボトルネック問題の変種に着目した。 問題を解決するための実践的な方法と、コーディングと学習の側面との関係について論じる。
  論文  参考訳（メタデータ） (2020-01-31T15:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。