論文の概要: Component-based Sketching for Deep ReLU Nets

• arxiv url: http://arxiv.org/abs/2409.14174v1
• Date: Sat, 21 Sep 2024 15:30:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 23:48:26.100394
• Title: Component-based Sketching for Deep ReLU Nets
• Title（参考訳）: 深部ReLUネットのためのコンポーネントベーススケッチ
• Authors: Di Wang, Shao-Bo Lin, Deyu Meng, Feilong Cao,
• Abstract要約: 各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
• 参考スコア（独自算出の注目度）: 55.404661149594375
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep learning has made profound impacts in the domains of data mining and AI, distinguished by the groundbreaking achievements in numerous real-world applications and the innovative algorithm design philosophy. However, it suffers from the inconsistency issue between optimization and generalization, as achieving good generalization, guided by the bias-variance trade-off principle, favors under-parameterized networks, whereas ensuring effective convergence of gradient-based algorithms demands over-parameterized networks. To address this issue, we develop a novel sketching scheme based on deep net components for various tasks. Specifically, we use deep net components with specific efficacy to build a sketching basis that embodies the advantages of deep networks. Subsequently, we transform deep net training into a linear empirical risk minimization problem based on the constructed basis, successfully avoiding the complicated convergence analysis of iterative algorithms. The efficacy of the proposed component-based sketching is validated through both theoretical analysis and numerical experiments. Theoretically, we show that the proposed component-based sketching provides almost optimal rates in approximating saturated functions for shallow nets and also achieves almost optimal generalization error bounds. Numerically, we demonstrate that, compared with the existing gradient-based training methods, component-based sketching possesses superior generalization performance with reduced training costs.
• Abstract（参考訳）: ディープラーニングは、多くの現実世界のアプリケーションにおける画期的な成果と革新的なアルゴリズム設計哲学によって区別された、データマイニングとAIの領域に大きな影響を与えている。 しかし、これは最適化と一般化の不整合性の問題に悩まされ、バイアス分散トレードオフ原理によって導かれる優れた一般化を達成する一方で、勾配に基づくアルゴリズムの効果的な収束は過パラメータ化ネットワークを必要とする。 この問題に対処するため,様々なタスクのためのディープネットコンポーネントに基づく新しいスケッチ手法を開発した。 具体的には、ディープネットワークの利点を具現化したスケッチベースを構築するために、特定の有効性を持つディープネットコンポーネントを使用します。 その後、我々は、深層ネットトレーニングを構築ベースに基づく線形経験的リスク最小化問題に変換し、反復アルゴリズムの複雑な収束解析をうまく回避した。 提案手法の有効性を理論的解析と数値実験により検証した。 理論的には、提案したコンポーネントベースのスケッチは、浅いネットに対する飽和関数の近似にほぼ最適な速度を提供し、また、ほぼ最適な一般化誤差境界を実現する。 数値解析により,既存の勾配に基づくトレーニング手法と比較して,コンポーネントベースのスケッチはトレーニングコストの低減とともに,より優れた一般化性能を有することが示された。

関連論文リスト

• Deep Learning Meets Adaptive Filtering: A Stein's Unbiased Risk Estimator Approach [13.887632153924512]
  本稿では,Deep RLSとDeep EASIというタスクベースのディープラーニングフレームワークを紹介する。 これらのアーキテクチャは、元のアルゴリズムの繰り返しをディープニューラルネットワークの層に変換し、効率的なソース信号推定を可能にする。 性能をさらに向上するために、我々は、スタインの非バイアスリスク推定器(SURE)に基づく代理損失関数を用いた、これらの深層無ロールネットワークのトレーニングを提案する。
  論文  参考訳（メタデータ） (2023-07-31T14:26:41Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Low-light Image Enhancement by Retinex Based Algorithm Unrolling and Adjustment [50.13230641857892]
  本稿では,低照度画像強調(LIE)問題に対する新たなディープラーニングフレームワークを提案する。 提案フレームワークは,大域的明るさと局所的明るさ感度の両方を考慮したアルゴリズムアンロールと調整ネットワークに着想を得た分解ネットワークを含む。 一連の典型的なLIEデータセットの実験では,既存の手法と比較して,定量的かつ視覚的に,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-12T03:59:38Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
  ディープネットにおける因子化層の初期化と規則化の方法を示す。 これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
  論文  参考訳（メタデータ） (2021-05-03T17:28:07Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks [2.715884199292287]
  本稿では,オラクルの基本的な議論と計算に基づいて,ディープ・ネットワークに対する最適化アルゴリズムの収束保証を得る手法を提案する。 本研究では、ディープネットワークのトレーニングに使用される一階最適化アルゴリズムの収束挙動を制御した滑らか度定数の推定値を計算する体系的な方法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T22:40:52Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。