論文の概要: Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning

• arxiv url: http://arxiv.org/abs/2003.12537v3
• Date: Tue, 5 Jan 2021 18:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 04:35:10.167490
• Title: Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning
• Title（参考訳）: 深層学習における情報理論的目的の統合
• Authors: Andreas Kirsch, Clare Lyle, Yarin Gal
• Abstract要約: Information Bottleneck原則は、ディープニューラルネットワークのトレーニングと一般化方法を説明するメカニズムを提供する。 複数の競合する目的が文献で提案されており、これらの目的に使用される情報理論量の計算は困難である。 我々は,密度推定などの煩雑なツールに頼ることなく,最適化に親しみやすいサロゲート目標を開発する。
• 参考スコア（独自算出の注目度）: 41.99004805664721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Information Bottleneck principle offers both a mechanism to explain how deep neural networks train and generalize, as well as a regularized objective with which to train models. However, multiple competing objectives are proposed in the literature, and the information-theoretic quantities used in these objectives are difficult to compute for large deep neural networks, which in turn limits their use as a training objective. In this work, we review these quantities and compare and unify previously proposed objectives, which allows us to develop surrogate objectives more friendly to optimization without relying on cumbersome tools such as density estimation. We find that these surrogate objectives allow us to apply the information bottleneck to modern neural network architectures. We demonstrate our insights on MNIST, CIFAR-10 and Imagenette with modern DNN architectures (ResNets).
• Abstract（参考訳）: Information Bottleneckの原則は、ディープニューラルネットワークのトレーニングと一般化の方法を説明するメカニズムと、モデルをトレーニングする正規化目的の両方を提供する。 しかし、複数の競合する目的が文献で提案されており、これらの目的に使用される情報理論的な量は、大規模深層ニューラルネットワークでは計算が困難であり、トレーニング目的としての使用は制限されている。 本研究では,これらの量を概観し,従来提案されていた目的を比較・統一することにより,密度推定などの煩雑なツールに頼ることなく,最適化に親しみやすいサロゲート目標を開発できる。 これらの代理的な目的により、現代のニューラルネットワークアーキテクチャに情報のボトルネックを適用することができる。 我々は、最新のDNNアーキテクチャ(ResNets)を用いたMNIST、CIFAR-10、Imagenetteに関する洞察を実証する。

関連論文リスト

• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Mobile Traffic Prediction at the Edge through Distributed and Transfer Learning [2.687861184973893]
  このトピックの研究は、異なるネットワーク要素からデータを収集することによって、中央集権的な予測を行うことに集中している。 本研究では,エッジ上で得られたデータセットを大規模計測キャンペーンで活用するエッジコンピューティングに基づく新しい予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-22T23:48:13Z)
• Comparison Analysis of Traditional Machine Learning and Deep Learning Techniques for Data and Image Classification [62.997667081978825]
  本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。 まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。 次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
  論文  参考訳（メタデータ） (2022-04-11T11:34:43Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Auto-Transfer: Learning to Route Transferrable Representations [77.30427535329571]
  本稿では,適切なターゲット表現にソース表現をルートする方法を自動学習する,新しい対向型マルチアームバンディット手法を提案する。 最先端の知識伝達手法と比較すると,5%以上の精度向上が期待できる。
  論文  参考訳（メタデータ） (2022-02-02T13:09:27Z)
• Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
  我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
  論文  参考訳（メタデータ） (2021-08-20T11:53:05Z)
• Accelerating deep neural networks for efficient scene understanding in automotive cyber-physical systems [2.4373900721120285]
  自動車のCyber-Physical Systems(ACPS)はここ数十年でかなりの関心を集めている。 これらのシステムにおける最も重要な操作の1つは、環境に対する認識である。 ディープラーニングと、特にDeep Neural Networks(DNN)の使用は、視覚データから複雑でダイナミックなシーンを分析し、理解するための素晴らしい結果をもたらす。
  論文  参考訳（メタデータ） (2021-07-19T18:43:17Z)
• Explaining Deep Neural Networks using Unsupervised Clustering [12.639074798397619]
  本稿では、教師なしクラスタリングを用いて、訓練された深層ニューラルネットワーク(DNN)を代理モデルに蒸留することで、新しい説明法を提案する。 提案手法はDNNアーキテクチャの任意のレイヤに柔軟に適用可能であり,低レベルかつ高レベルな情報を組み込むことができる。
  論文  参考訳（メタデータ） (2020-07-15T04:49:43Z)
• Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread [136.2224792151324]
  本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。 提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
  論文  参考訳（メタデータ） (2020-01-22T15:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。