論文の概要: Entropy-based Guidance of Deep Neural Networks for Accelerated Convergence and Improved Performance

• arxiv url: http://arxiv.org/abs/2308.14938v1
• Date: Mon, 28 Aug 2023 23:33:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 16:19:07.848670
• Title: Entropy-based Guidance of Deep Neural Networks for Accelerated Convergence and Improved Performance
• Title（参考訳）: エントロピーに基づく深層ニューラルネットワークの収束促進と性能向上のための指導
• Authors: Mackenzie J. Meni and Ryan T. White and Michael Mayo and Kevin Pilkiewicz
• Abstract要約: 完全に接続された畳み込みニューラルネットワークの処理データとしてエントロピーの変化を測定するために、新しい数学的結果を得る。 ベンチマークデータセットにおける画像圧縮と画像分類の実験は、これらの損失がニューラルネットワークを誘導し、少ない次元でリッチな潜在データ表現を学習することを示した。
• 参考スコア（独自算出の注目度）: 0.9558392439655016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks have dramatically increased our capacity to learn from large, high-dimensional datasets across innumerable disciplines. However, their decisions are not easily interpretable, their computational costs are high, and building and training them are uncertain processes. To add structure to these efforts, we derive new mathematical results to efficiently measure the changes in entropy as fully-connected and convolutional neural networks process data, and introduce entropy-based loss terms. Experiments in image compression and image classification on benchmark datasets demonstrate these losses guide neural networks to learn rich latent data representations in fewer dimensions, converge in fewer training epochs, and achieve better test metrics.
• Abstract（参考訳）: ニューラルネットワークは、無数の分野にわたる大規模な高次元データセットから学習する能力を大幅に向上させた。 しかし、彼らの決定は容易に解釈できず、計算コストが高く、構築と訓練は不確定なプロセスである。 これらの取り組みに構造を加えるために、完全連結・畳み込みニューラルネットワークとしてエントロピーの変化を効率的に測定し、エントロピーに基づく損失項を導入するために、新しい数学的結果を得る。 ベンチマークデータセットにおける画像圧縮と画像分類の実験では、ニューラルネットワークがより少ない次元でリッチな潜在データ表現を学習し、トレーニング期間を短縮し、より良いテストメトリクスを達成するために、これらの損失が示されている。

関連論文リスト

• Quantifying Emergence in Neural Networks: Insights from Pruning and Training Dynamics [0.0]
  ネットワーク内の単純なコンポーネントの相互作用から複雑な振る舞いが発達する創発性は、機能強化において重要な役割を担います。 本稿では,トレーニングプロセス中の出現を計測し,ネットワーク性能に与える影響を定量的に検討する枠組みを提案する。 我々の仮説は、アクティブノードと非アクティブノードの接続によって定義される出現度が、ネットワークにおける創発的行動の発生を予測することができることを示唆している。
  論文  参考訳（メタデータ） (2024-09-03T03:03:35Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Dynamic Community Detection via Adversarial Temporal Graph Representation Learning [17.487265170798974]
  本研究では,脳ネットワークデータの少数のサンプルから動的コミュニティを検出するために,対角時間グラフ表現学習フレームワークを提案する。 さらに、このフレームワークは、時間グラフ表現の学習をガイドし、測定可能なモジュラリティ損失を最適化して、コミュニティのモジュラリティを最大化するために、敵対的なトレーニングを採用している。
  論文  参考訳（メタデータ） (2022-06-29T08:44:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。