論文の概要: Drill the Cork of Information Bottleneck by Inputting the Most Important Data

• arxiv url: http://arxiv.org/abs/2105.07181v1
• Date: Sat, 15 May 2021 09:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 10:37:21.133292
• Title: Drill the Cork of Information Bottleneck by Inputting the Most Important Data
• Title（参考訳）: 最も重要なデータを入力して情報ボトルネックのコークをドリルする
• Authors: Xinyu Peng, Jiawei Zhang, Fei-Yue Wang and Li Li
• Abstract要約: ディープニューラルネットワークを効率的にトレーニングする方法はまだ解決されていない。 情報ボトルネック(IB)理論は、最適化過程は初期適合相と次の圧縮相からなると主張している。 IB理論で表される嵌合相は、典型的サンプリングが適切に適用された場合、高い信号対雑音比で促進されることを示す。
• 参考スコア（独自算出の注目度）: 28.32769151293851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has become the most powerful machine learning tool in the last decade. However, how to efficiently train deep neural networks remains to be thoroughly solved. The widely used minibatch stochastic gradient descent (SGD) still needs to be accelerated. As a promising tool to better understand the learning dynamic of minibatch SGD, the information bottleneck (IB) theory claims that the optimization process consists of an initial fitting phase and the following compression phase. Based on this principle, we further study typicality sampling, an efficient data selection method, and propose a new explanation of how it helps accelerate the training process of the deep networks. We show that the fitting phase depicted in the IB theory will be boosted with a high signal-to-noise ratio of gradient approximation if the typicality sampling is appropriately adopted. Furthermore, this finding also implies that the prior information of the training set is critical to the optimization process and the better use of the most important data can help the information flow through the bottleneck faster. Both theoretical analysis and experimental results on synthetic and real-world datasets demonstrate our conclusions.
• Abstract（参考訳）: ディープラーニングは、過去10年間でもっとも強力な機械学習ツールになった。 しかし、ディープニューラルネットワークを効率的にトレーニングする方法は、まだ完全に解決されていない。 広範に用いられているミニバッチ確率勾配勾配(SGD)を加速する必要がある。 ミニバッチSGDの学習力学をよりよく理解するための有望なツールとして、情報ボトルネック(IB)理論は、最適化プロセスは初期適合相と次の圧縮相からなると主張している。 この原理に基づき、効率的なデータ選択手法である典型的サンプリングをさらに研究し、深層ネットワークのトレーニングプロセスをいかに加速するかの新たな説明を提案する。 IB理論で表される嵌合相は、典型的サンプリングが適切に適用されれば、勾配近似の信号対雑音比が高くなることを示す。 さらに、この発見は、トレーニングセットの事前情報が最適化プロセスにとって重要であり、最も重要なデータの利用がより良くなれば、ボトルネックを高速に流れる情報の流れがより良くなります。 合成データと実世界のデータセットに関する理論的解析と実験結果の両方が結論を示している。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck [4.523653503622693]
  IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。 IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。 CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-23T05:35:57Z)
• Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
  この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。 我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
  論文  参考訳（メタデータ） (2023-12-26T12:19:22Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Segmentation-guided Domain Adaptation for Efficient Depth Completion [3.441021278275805]
  本稿では,vgg05型CNNアーキテクチャと半教師付きドメイン適応手法に基づく効率的な深度補完モデルを提案する。 空間的コヒーレンスを高めるため,情報ソースとしてセグメンテーションを用いた学習プロセスを導出する。 提案手法は,計算フットプリントを著しく低くしながら,従来手法の効率的かつ低パラメータ状態を改善する。
  論文  参考訳（メタデータ） (2022-10-14T13:01:25Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。