論文の概要: Exploiting Explainable Metrics for Augmented SGD

• arxiv url: http://arxiv.org/abs/2203.16723v1
• Date: Thu, 31 Mar 2022 00:16:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 14:15:04.042324
• Title: Exploiting Explainable Metrics for Augmented SGD
• Title（参考訳）: 拡張SGDのための説明可能なメトリクスの爆発
• Authors: Mahdi S. Hosseini and Mathieu Tuli and Konstantinos N. Plataniotis
• Abstract要約: 最適化下での学習が実際にどのように機能するか、また、特定の戦略が他の方法よりも優れている理由について、未解決の疑問がいくつかある。 ネットワーク層内の冗長な情報を計測する新しい説明可能性指標を提案する。 次に、これらの指標を利用して、各レイヤの学習率を適応的に調整し、一般化性能を向上させることにより、グラディエント・ディフレッシュ(SGD)を増大させる。
• 参考スコア（独自算出の注目度）: 43.00691899858408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explaining the generalization characteristics of deep learning is an emerging topic in advanced machine learning. There are several unanswered questions about how learning under stochastic optimization really works and why certain strategies are better than others. In this paper, we address the following question: \textit{can we probe intermediate layers of a deep neural network to identify and quantify the learning quality of each layer?} With this question in mind, we propose new explainability metrics that measure the redundant information in a network's layers using a low-rank factorization framework and quantify a complexity measure that is highly correlated with the generalization performance of a given optimizer, network, and dataset. We subsequently exploit these metrics to augment the Stochastic Gradient Descent (SGD) optimizer by adaptively adjusting the learning rate in each layer to improve in generalization performance. Our augmented SGD -- dubbed RMSGD -- introduces minimal computational overhead compared to SOTA methods and outperforms them by exhibiting strong generalization characteristics across application, architecture, and dataset.
• Abstract（参考訳）: ディープラーニングの一般化特性を説明することは、高度な機械学習における新たなトピックである。 確率的最適化の下での学習が実際にどのように機能し、特定の戦略が他より優れているかについては、いくつかの未解決の疑問がある。 本稿では,ディープニューラルネットワークの中間層を探索して,各レイヤの学習品質を識別・定量化することができるか? この課題を念頭に置いて,ネットワーク層内の冗長情報を低ランク因子化フレームワークを用いて測定し,与えられた最適化器,ネットワーク,データセットの一般化性能と高い相関を持つ複雑性尺度を定量化する,新たな説明可能性指標を提案する。 その後,各層における学習速度を適応的に調整し,一般化性能を向上させることで,確率勾配降下(sgd)オプティマイザの強化を図る。 我々の拡張SGDは、RMSGDと呼ばれ、SOTA法と比較して最小限の計算オーバーヘッドを導入し、アプリケーション、アーキテクチャ、データセットにまたがる強力な一般化特性を示し、それらを上回ります。

関連論文リスト

• CaAdam: Improving Adam optimizer using connection aware methods [0.0]
  我々はAdamにインスパイアされた新しい手法を導入し、収束速度を高め、損失関数の最小化を実現する。 Adamを含む従来のプロキシは、アーキテクチャの詳細を考慮せずに、ニューラルネットワーク全体で均一またはグローバルに調整された学習率を適用している。 我々のアルゴリズムであるCaAdamは、アーキテクチャ情報を慎重に設計することで、接続対応の最適化を導入することで、見落としている領域を探索する。
  論文  参考訳（メタデータ） (2024-10-31T17:59:46Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification [0.0]
  深層半教師付き分類の最近の進歩は、前例のない性能に達している。 モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。 本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
  論文  参考訳（メタデータ） (2021-06-08T17:09:28Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Regularizing Deep Networks with Semantic Data Augmentation [44.53483945155832]
  従来の手法を補完する新しい意味データ拡張アルゴリズムを提案する。 提案手法はディープネットワークが線形化特徴の学習に有効であるという興味深い性質に着想を得たものである。 提案した暗黙的セマンティックデータ拡張(ISDA)アルゴリズムは,新たなロバストCE損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-07-21T00:32:44Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。