論文の概要: Double Descent of Discrepancy: A Task-, Data-, and Model-Agnostic Phenomenon

• arxiv url: http://arxiv.org/abs/2305.15907v1
• Date: Thu, 25 May 2023 10:13:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 15:56:11.512448
• Title: Double Descent of Discrepancy: A Task-, Data-, and Model-Agnostic Phenomenon
• Title（参考訳）: 不一致の二重降下:タスク・データ・モデル非依存現象
• Authors: Yifan Luo, Bin Dong
• Abstract要約: 2つの同一トレーニングニューラルネットワークについて検討し、トレーニングデータセット上の出力の差が「二重降下」現象を示すことを発見した。 我々は,新しい早期停止基準を提案し,データ品質評価のための新しい手法を開発した。 その結果,現象駆動型アプローチは理論的理解と実践的応用の両方において深層学習研究に有用であることが示唆された。
• 参考スコア（独自算出の注目度）: 11.638631814600231
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we studied two identically-trained neural networks (i.e. networks with the same architecture, trained on the same dataset using the same algorithm, but with different initialization) and found that their outputs discrepancy on the training dataset exhibits a "double descent" phenomenon. We demonstrated through extensive experiments across various tasks, datasets, and network architectures that this phenomenon is prevalent. Leveraging this phenomenon, we proposed a new early stopping criterion and developed a new method for data quality assessment. Our results show that a phenomenon-driven approach can benefit deep learning research both in theoretical understanding and practical applications.
• Abstract（参考訳）: 本稿では、2つの同一学習ニューラルネットワーク(同じアーキテクチャを持つネットワーク、同じアルゴリズムで同じデータセットでトレーニングされるが、初期化が異なる)について検討し、トレーニングデータセット上の出力の差が「二重降下」現象であることを示した。 我々は、様々なタスク、データセット、ネットワークアーキテクチャにわたる広範な実験を通じて、この現象が一般的であることを実証した。 この現象を利用して,新しい早期停止基準を提案し,新しいデータ品質評価法を開発した。 その結果,現象駆動型アプローチは理論的理解と実践的応用の両方において深層学習研究に有用であることが示唆された。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Model Evaluation and Anomaly Detection in Temporal Complex Networks using Deep Learning Methods [0.0]
  本稿では,時間的ネットワークモデルの結果評価の問題に対処するために,ディープラーニングに基づく自動アプローチを提案する。 評価法に加えて,提案手法は進化するネットワークにおける異常検出にも利用できる。
  論文  参考訳（メタデータ） (2024-06-15T09:19:09Z)
• Manipulating Sparse Double Descent [0.0]
  スパース二重降下と呼ばれる別の二重降下現象を探索する。 この研究は、モデルの複雑さ、スパーシリティ、一般化の間の複雑な関係を強調し、より多様なモデルとデータセットに関するさらなる研究を提案する。
  論文  参考訳（メタデータ） (2024-01-19T13:33:23Z)
• MAGDiff: Covariate Data Set Shift Detection via Activation Graphs of Deep Neural Networks [8.887179103071388]
  我々は、任意のニューラルネットワーク分類器から抽出するMAGDiffと呼ばれる新しい表現群を提案する。 これらの表現は、トレーニング分布に属するサンプルと目標分布とのニューラルネットワークのアクティベーショングラフを比較して計算される。 本稿では,ネットワーク出力に依存した最先端のベースラインに対して,新しい表現が大幅な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:34:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Correlator Convolutional Neural Networks: An Interpretable Architecture for Image-like Quantum Matter Data [15.283214387433082]
  本研究では,物理オブザーバブルの観点から直接解釈可能なデータの特徴を発見するネットワークアーキテクチャを開発する。 私たちのアプローチは、シンプルでエンドツーエンドの解釈可能なアーキテクチャの構築に役立ちます。
  論文  参考訳（メタデータ） (2020-11-06T17:04:10Z)
• Similarity of Neural Networks with Gradients [8.804507286438781]
  本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。 提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
  論文  参考訳（メタデータ） (2020-03-25T17:04:10Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。