論文の概要: Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective

• arxiv url: http://arxiv.org/abs/2603.23831v1
• Date: Wed, 25 Mar 2026 01:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.081391
• Title: Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective
• Title（参考訳）: 深層学習における隠れた凸性:スパース信号処理の視点から
• Authors: Emi Zeger, Mert Pilanci,
• Abstract要約: ディープニューラルネットワーク(DNN)は、さまざまな機械学習タスクで大きな成功を収めています。 近年の研究では、特定のNNアーキテクチャが失われる際のいくつかの凸性を明らかにしている。
• 参考スコア（独自算出の注目度）: 51.908606610432194
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks (DNNs), particularly those using Rectified Linear Unit (ReLU) activation functions, have achieved remarkable success across diverse machine learning tasks, including image recognition, audio processing, and language modeling. Despite this success, the non-convex nature of DNN loss functions complicates optimization and limits theoretical understanding. In this paper, we highlight how recently developed convex equivalences of ReLU NNs and their connections to sparse signal processing models can address the challenges of training and understanding NNs. Recent research has uncovered several hidden convexities in the loss landscapes of certain NN architectures, notably two-layer ReLU networks and other deeper or varied architectures. This paper seeks to provide an accessible and educational overview that bridges recent advances in the mathematics of deep learning with traditional signal processing, encouraging broader signal processing applications.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)、特にRectified Linear Unit(ReLU)アクティベーション機能を使用するものは、画像認識、オーディオ処理、言語モデリングなど、さまざまな機械学習タスクで大きな成功を収めている。 この成功にもかかわらず、DNN損失関数の非凸性は最適化を複雑にし、理論的理解を制限する。 本稿では,最近開発されたReLU NNの凸等価性とそのスパース信号処理モデルへの接続が,NNの訓練と理解の課題にどのように対処できるかを強調する。 近年の研究では、NNアーキテクチャのロスランドスケープ、特に2層ReLUネットワークや、より深い、あるいは多様なアーキテクチャにおいて、いくつかの隠れた凸が明らかになった。 本稿では,近年の深層学習と従来の信号処理の数学の進歩を橋渡しし,より広範な信号処理の応用を奨励する,アクセシブルで教育的な概要を提供する。

関連論文リスト

• Convexity in ReLU Neural Networks: beyond ICNNs? [17.01649106055384]
  1階層のReLUネットワークで実装された凸関数はすべて、同じアーキテクチャのICNNで表現可能であることを示す。 また,多数のアフィン領域を持つReLUニューラルネットワークに対して,正確な凸性チェックを可能にする数値計算手法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T13:53:59Z)
• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  スパースコーディングとディープラーニングの交差点を探索し,特徴抽出能力の理解を深める。 我々は、畳み込みニューラルネットワーク(CNN)のスパース特徴抽出能力の収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
  本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。 実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
  論文  参考訳（メタデータ） (2023-02-20T19:33:38Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。