Fugu-MT 論文翻訳(概要): Zero loss guarantees and explicit minimizers for generic overparametrized Deep Learning networks

論文の概要: Zero loss guarantees and explicit minimizers for generic overparametrized Deep Learning networks

arxiv url: http://arxiv.org/abs/2502.14114v1
Date: Wed, 19 Feb 2025 21:31:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-21 14:30:04.740313
Title: Zero loss guarantees and explicit minimizers for generic overparametrized Deep Learning networks
Title（参考訳）: 汎用過パラメータ型ディープラーニングネットワークにおけるゼロ損失保証と明示的最小化
Authors: Thomas Chen, Andrew G. Moore,
Abstract要約: 勾配降下を起こすことなくゼロ損失最小化器を明示的に構築する。以上の結果から,低パラメタライズドDLと過パラメタライズドDLにおけるゼロ損失到達率の2分断に関する重要な側面が明らかとなった。
参考スコア（独自算出の注目度）: 1.189367612437469
License:
Abstract: We determine sufficient conditions for overparametrized deep learning (DL) networks to guarantee the attainability of zero loss in the context of supervised learning, for the $\mathcal{L}^2$ cost and {\em generic} training data. We present an explicit construction of the zero loss minimizers without invoking gradient descent. On the other hand, we point out that increase of depth can deteriorate the efficiency of cost minimization using a gradient descent algorithm by analyzing the conditions for rank loss of the training Jacobian. Our results clarify key aspects on the dichotomy between zero loss reachability in underparametrized versus overparametrized DL.
Abstract（参考訳）: 我々は、$\mathcal{L}^2$ Cost and {\em generic} training dataに対して、教師あり学習の文脈におけるゼロ損失の達成を保証するために、過度にパラメータ化されたディープラーニング(DL)ネットワークの十分な条件を決定する。勾配降下を起こすことなくゼロ損失最小化器を明示的に構築する。一方, トレーニングヤコビアンのランク損失条件を解析することにより, 勾配降下アルゴリズムを用いて, コスト最小化の効率を低下させることができることを指摘した。以上の結果から,低パラメタライズドDLと過パラメタライズドDLにおけるゼロ損失到達率の2分断に関する重要な側面が明らかとなった。

関連論文リスト

LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-12T17:08:31Z)
Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [16.399746814823025]
機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
論文参考訳（メタデータ） (2024-02-08T07:14:17Z)
On non-approximability of zero loss global ${\mathcal L}^2$ minimizers by gradient descent in Deep Learning [1.189367612437469]
ディープラーニング(DL)における勾配降下アルゴリズムの幾何学的側面の解析トレーニング入力の分布は、損失最小化のため、必ずしも非ジェネリックでなければならないと結論付けている。
論文参考訳（メタデータ） (2023-11-13T04:11:25Z)
Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention [30.389055604165222]
禁断損失関数に対する代用損失の新たなファミリーを導入する。我々はこれらのサロゲート損失に対して、非漸近的で仮説固有の一貫性を保証する。以上の結果から,最新のスコアベースサロゲート損失の相対的性能はデータセットによって異なる可能性が示唆された。
論文参考訳（メタデータ） (2023-10-23T10:13:35Z)
Sharpness-Aware Training for Free [163.1248341911413]
シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
論文参考訳（メタデータ） (2022-05-27T16:32:43Z)
When does gradient descent with logistic loss find interpolating two-layer networks? [51.1848572349154]
また,初期損失が十分小さい場合,勾配降下がトレーニング損失をゼロにすることを示した。データが一定のクラスタと分離条件を満たし、ネットワークが十分に広い場合、勾配降下の一段階が、最初の結果が適用されるほど損失を十分に減少させることを示す。
論文参考訳（メタデータ） (2020-12-04T05:16:51Z)
Numerical Exploration of Training Loss Level-Sets in Deep Neural Networks [1.3706331473063877]
パラメータ空間内の経路を、固定された近ゼロのトレーニング損失を持つ集合に制約する。この経路内の異なる点における正則化関数とテスト損失を測定することにより、パラメータ空間内の同じ固定トレーニング損失の異なる点が一般化能力においてどのように比較されるかを検討する。我々の結果は、ディープニューラルネットワークの損失状況に関する新しい情報と、テスト損失を減らすための新しい戦略を提供する。
論文参考訳（メタデータ） (2020-11-09T04:49:33Z)
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。勾配推定の品質はリスク最小化においてより重要であることを示す。本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-05T04:19:37Z)
Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文参考訳（メタデータ） (2020-06-18T19:04:09Z)
Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文参考訳（メタデータ） (2020-05-28T02:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。