論文の概要: Memorization and Generalization in Neural Code Intelligence Models

• arxiv url: http://arxiv.org/abs/2106.08704v1
• Date: Wed, 16 Jun 2021 11:11:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:06:51.988044
• Title: Memorization and Generalization in Neural Code Intelligence Models
• Title（参考訳）: ニューラルコードインテリジェンスモデルの記憶と一般化
• Authors: Md Rafiqul Islam Rabin, Aftab Hussain, Vincent J. Hellendoorn and Mohammad Amin Alipour
• Abstract要約: 我々は,ニューラルネットワークインテリジェンスモデルにおける記憶と一般化の傾向をケーススタディにより評価した。 私たちの結果は、トレーニングにおけるノイズの多いデータセットの影響に光を当てました。
• 参考スコア（独自算出の注目度）: 3.6245424131171813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNN) are increasingly commonly used in software engineering and code intelligence tasks. These are powerful tools that are capable of learning highly generalizable patterns from large datasets through millions of parameters. At the same time, training DNNs means walking a knife's edges, because their large capacity also renders them prone to memorizing data points. While traditionally thought of as an aspect of over-training, recent work suggests that the memorization risk manifests especially strongly when the training datasets are noisy and memorization is the only recourse. Unfortunately, most code intelligence tasks rely on rather noise-prone and repetitive data sources, such as GitHub, which, due to their sheer size, cannot be manually inspected and evaluated. We evaluate the memorization and generalization tendencies in neural code intelligence models through a case study across several benchmarks and model families by leveraging established approaches from other fields that use DNNs, such as introducing targeted noise into the training dataset. In addition to reinforcing prior general findings about the extent of memorization in DNNs, our results shed light on the impact of noisy dataset in training.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、ソフトウェアエンジニアリングやコードインテリジェンスタスクで一般的に使われている。 これらは、巨大なデータセットから数百万のパラメータを通じて、高度に一般化可能なパターンを学習できる強力なツールです。 同時に、DNNのトレーニングはナイフの端を歩くことを意味している。 従来、過剰なトレーニングの側面として考えられていたが、最近の研究は、トレーニングデータセットが騒がしく、記憶が唯一のリコースである場合に、特に記憶リスクが強く現れることを示唆している。 残念なことに、ほとんどのコードインテリジェンスタスクは、GitHubのような、ノイズの多い反復的なデータソースに依存している。 トレーニングデータセットにターゲットノイズを導入するなど、DNNを使用する他の分野からの確立したアプローチを活用することにより、ニューラルネットワークインテリジェンスモデルの記憶と一般化傾向を評価する。 DNNの暗記範囲に関する事前の一般的な知見の強化に加えて,本研究の結果は,トレーニングにおけるノイズデータセットの影響を浮き彫りにした。

関連論文リスト

• Are Sparse Neural Networks Better Hard Sample Learners? [24.2141078613549]
  ディープニューラルネットワークの最適性能において、ハードサンプルは重要な役割を果たす。 挑戦的なサンプルに基づいてトレーニングされたほとんどのSNNは、特定の間隔レベルで精度の高いモデルにマッチしたり、超えたりすることができる。
  論文  参考訳（メタデータ） (2024-09-13T21:12:18Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 よりシンプルで知識集約的なタスクでは記憶が大きな役割を担い、一方、一般化はより困難で推論に基づくタスクでは鍵となる。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Deep Learning for real-time neural decoding of grasp [0.0]
  本稿では,ニューラルネットワークの復号化のためのDeep Learningに基づく手法を提案する。 提案手法の主な目的は、これまでの神経科学知識に頼ることなく、最先端の復号精度を改善することである。
  論文  参考訳（メタデータ） (2023-11-02T08:26:29Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Embedding Symbolic Temporal Knowledge into Deep Sequential Models [21.45383857094518]
  時系列や時系列はロボットのタスク、例えば活動認識や模倣学習で発生することが多い。 深層ニューラルネットワーク(DNN)は、十分なトレーニングデータと計算リソースを与えられたシーケンスを処理する効果的なデータ駆動手法として登場した。 グラフニューラルネットワークを用いて定式から生成された自動機械のセマンティックな埋め込みを構築する。実験により、これらの学習された埋め込みは、シーケンシャルな動作認識や模倣学習などの下流ロボットタスクの改善につながることが示された。
  論文  参考訳（メタデータ） (2021-01-28T13:17:46Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。