論文の概要: A Critical Review of Information Bottleneck Theory and its Applications to Deep Learning

• arxiv url: http://arxiv.org/abs/2105.04405v2
• Date: Tue, 11 May 2021 11:50:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 05:58:43.590513
• Title: A Critical Review of Information Bottleneck Theory and its Applications to Deep Learning
• Title（参考訳）: 情報ボトルネック理論の批判的考察とその深層学習への応用
• Authors: Mohammad Ali Alomrani
• Abstract要約: ディープニューラルネットワークは、今日の社会のあらゆる側面に影響を与え続ける比類のない改善を見てきました。 情報ボトルネック理論は、ニューラルネットワークの学習ダイナミクスをよりよく理解するための有望なアプローチとして登場した。 本研究の目的は、情報理論のルーツと最近提案された深層学習モデル理解への応用をカバーするib理論の包括的レビューを提供することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past decade, deep neural networks have seen unparalleled improvements that continue to impact every aspect of today's society. With the development of high performance GPUs and the availability of vast amounts of data, learning capabilities of ML systems have skyrocketed, going from classifying digits in a picture to beating world-champions in games with super-human performance. However, even as ML models continue to achieve new frontiers, their practical success has been hindered by the lack of a deep theoretical understanding of their inner workings. Fortunately, a known information-theoretic method called the information bottleneck theory has emerged as a promising approach to better understand the learning dynamics of neural networks. In principle, IB theory models learning as a trade-off between the compression of the data and the retainment of information. The goal of this survey is to provide a comprehensive review of IB theory covering it's information theoretic roots and the recently proposed applications to understand deep learning models.
• Abstract（参考訳）: 過去10年間で、ディープニューラルネットワークは、今日の社会のあらゆる側面に影響を与え続ける、例外なく改善されている。 高性能GPUの開発と大量のデータの提供により、MLシステムの学習能力は飛躍的に向上し、画像中の桁の分類から、超人的なパフォーマンスを持つゲームの世界チャンピオンを圧倒した。 しかし、MLモデルは新たなフロンティアを達成し続けているが、その実践的な成功は、内部の動作に関する深い理論的理解の欠如によって妨げられている。 幸いなことに、情報ボトルネック理論と呼ばれる既知の情報理論的手法が、ニューラルネットワークの学習ダイナミクスをよりよく理解するための有望なアプローチとして登場した。 原則として、IB理論はデータの圧縮と情報の保持の間のトレードオフとして学習をモデル化する。 本研究の目的は、情報理論のルーツと最近提案された深層学習モデル理解への応用をカバーするib理論の包括的レビューを提供することである。

関連論文リスト

• To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review [30.87092042943743]
  ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。 自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。 情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-04-19T00:33:59Z)
• From Actions to Events: A Transfer Learning Approach Using Improved Deep Belief Networks [1.0554048699217669]
  本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。 このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
  論文  参考訳（メタデータ） (2022-11-30T14:47:10Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Cognitively Inspired Learning of Incremental Drifting Concepts [31.3178953771424]
  神経系学習機構にインスパイアされた我々は、ディープニューラルネットワークが新しい概念を学習することを可能にする計算モデルを開発した。 我々のモデルは、過去の学習経験に新たな経験を蓄積し、タスク間の干渉を引き起こすことなく擬似データポイントを生成することができる。
  論文  参考訳（メタデータ） (2021-10-09T23:26:29Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Deep Knowledge Tracing with Learning Curves [0.9088303226909278]
  本稿では,進化的知識追跡(CAKT)モデルを提案する。 このモデルは、3次元畳み込みニューラルネットワークを用いて、次の質問で同じ知識の概念を適用した学生の最近の経験を明示的に学習する。 CAKTは,既存のモデルと比較して,生徒の反応を予測する上で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-26T15:24:51Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。