論文の概要: Learning Trajectories are Generalization Indicators

• arxiv url: http://arxiv.org/abs/2304.12579v4
• Date: Tue, 31 Oct 2023 07:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 02:51:34.184299
• Title: Learning Trajectories are Generalization Indicators
• Title（参考訳）: 学習軌跡は一般化指標である
• Authors: Jingwen Fu, Zhizheng Zhang, Dacheng Yin, Yan Lu, Nanning Zheng
• Abstract要約: 本稿では,Deep Neural Networks (DNN) の学習軌跡と一般化能力との関係について検討する。 本稿では,各更新ステップの一般化誤差の変化に対する寄与を調査し,一般化誤差を解析するための新しい視点を提案する。 また,学習率やラベルのノイズレベルに対する調整を行う場合,一般化誤差の変化も追跡できる。
• 参考スコア（独自算出の注目度）: 44.53518627207067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the connection between learning trajectories of Deep Neural Networks (DNNs) and their generalization capabilities when optimized using (stochastic) gradient descent algorithms. Instead of concentrating solely on the generalization error of the DNN post-training, we present a novel perspective for analyzing generalization error by investigating the contribution of each update step to the change in generalization error. This perspective allows for a more direct comprehension of how the learning trajectory influences generalization error. Building upon this analysis, we propose a new generalization bound that incorporates more extensive trajectory information. Our proposed generalization bound depends on the complexity of learning trajectory and the ratio between the bias and diversity of training set. Experimental findings reveal that our method effectively captures the generalization error throughout the training process. Furthermore, our approach can also track changes in generalization error when adjustments are made to learning rates and label noise levels. These results demonstrate that learning trajectory information is a valuable indicator of a model's generalization capabilities.
• Abstract（参考訳）: 本稿では,Deep Neural Networks (DNN) の学習軌跡と,(確率的な)勾配勾配アルゴリズムを用いて最適化した場合の一般化能力との関係について検討する。 本稿では,dnnポストトレーニングの一般化誤差のみに注目するのではなく,一般化誤差の変化に対する各更新ステップの寄与を調べることにより,一般化誤差を分析する新しい視点を提案する。 この観点は、学習軌跡が一般化誤差にどのように影響するかをより直接的な理解を可能にする。 この分析に基づいて,より広範な軌道情報を含む新たな一般化境界を提案する。 提案する一般化は,学習軌跡の複雑さと,学習集合のバイアスと多様性の比率に依存する。 実験の結果,本手法はトレーニング過程を通して一般化誤差を効果的に捉えていることがわかった。 さらに,本手法は,学習率やラベルノイズレベルに対する調整を行う際の一般化誤差の変化も追跡できる。 これらの結果は,学習軌跡情報がモデルの一般化能力を示す貴重な指標であることを示している。

関連論文リスト

• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
  多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。 我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:48:14Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Double Descent and Other Interpolation Phenomena in GANs [2.7007335372861974]
  生成逆数ネットワーク(GAN)における潜在空間次元の関数としての一般化誤差について検討する。 そこで我々は,実出力サンプルと組み合わせて,一対の合成(雑音)入力を利用するGANのための新しい擬似教師付き学習手法を開発した。 解析は主に線形モデルに焦点をあてるが、非線形多層GANの一般化に重要な洞察を与える。
  論文  参考訳（メタデータ） (2021-06-07T23:07:57Z)
• Learning While Dissipating Information: Understanding the Generalization Capability of SGLD [9.328633662865682]
  勾配ランゲヴィンダイナミクス(SGLD)を解析してアルゴリズム依存の一般化を導出する。 分析の結果,学習と情報伝達の複雑なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2021-02-05T03:18:52Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。