論文の概要: Learning Defect Prediction from Unrealistic Data

• arxiv url: http://arxiv.org/abs/2311.00931v2
• Date: Sat, 20 Jan 2024 17:05:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 20:15:13.568947
• Title: Learning Defect Prediction from Unrealistic Data
• Title（参考訳）: 非現実的データからの学習欠陥予測
• Authors: Kamel Alrashedy, Vincent J. Hellendoorn, Alessandro Orso
• Abstract要約: 事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
• 参考スコア（独自算出の注目度）: 57.53586547895278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained models of code, such as CodeBERT and CodeT5, have become popular choices for code understanding and generation tasks. Such models tend to be large and require commensurate volumes of training data, which are rarely available for downstream tasks. Instead, it has become popular to train models with far larger but less realistic datasets, such as functions with artificially injected bugs. Models trained on such data, however, tend to only perform well on similar data, while underperforming on real world programs. In this paper, we conjecture that this discrepancy stems from the presence of distracting samples that steer the model away from the real-world task distribution. To investigate this conjecture, we propose an approach for identifying the subsets of these large yet unrealistic datasets that are most similar to examples in real-world datasets based on their learned representations. Our approach extracts high-dimensional embeddings of both real-world and artificial programs using a neural model and scores artificial samples based on their distance to the nearest real-world sample. We show that training on only the nearest, representationally most similar samples while discarding samples that are not at all similar in representations yields consistent improvements across two popular pretrained models of code on two code understanding tasks. Our results are promising, in that they show that training models on a representative subset of an unrealistic dataset can help us harness the power of large-scale synthetic data generation while preserving downstream task performance. Finally, we highlight the limitations of applying AI models for predicting vulnerabilities and bugs in real-world applications
• Abstract（参考訳）: CodeBERTやCodeT5のような事前訓練されたコードのモデルは、コード理解と生成タスクの一般的な選択肢となっている。 このようなモデルは大規模になりがちで、ダウンストリームタスクではめったに利用できないトレーニングデータ量を必要とする。 代わりに、人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 しかし、そのようなデータでトレーニングされたモデルは、実世界のプログラムではパフォーマンスが低くなる一方で、同様のデータでのみうまく機能する傾向がある。 本稿では,この不一致は,実世界のタスク分布からモデルを引き離す散逸するサンプルの存在に起因していると推察する。 そこで本研究では,実世界のデータセットの例と最もよく似た,大規模かつ非現実的なデータセットのサブセットを同定する手法を提案する。 本手法は,神経モデルを用いて実世界および人工プログラムの高次元埋め込みを抽出し,最も近い実世界のサンプルまでの距離に基づいて人工サンプルをスコアリングする。 2つのコード理解タスクにおいて、最も近い、最も類似したサンプルのみをトレーニングし、表現に全く似ていないサンプルを捨てると、2つの人気のある事前訓練されたコードのモデル間で一貫した改善が得られることを示す。 その結果、非現実的なデータセットの代表的なサブセット上でのトレーニングモデルが、ダウンストリームのタスクパフォーマンスを維持しながら、大規模な合成データ生成のパワーを活用できることが分かりました。 最後に、現実世界のアプリケーションにおける脆弱性やバグを予測するためにAIモデルを適用する際の制限を強調します。

関連論文リスト

• Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences [20.629333587044012]
  本研究では,データキュレーションが生成モデルの反復的再学習に与える影響について検討する。 報奨モデルに従ってデータをキュレートすると、反復的再訓練手順の期待報酬が最大になることを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:28:28Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Efficiently Robustify Pre-trained Models [18.392732966487582]
  大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。 まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。 続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
  論文  参考訳（メタデータ） (2023-09-14T08:07:49Z)
• Exploring the Effectiveness of Dataset Synthesis: An application of Apple Detection in Orchards [68.95806641664713]
  本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。 我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。 その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-20T09:46:01Z)
• The Big Data Myth: Using Diffusion Models for Dataset Generation to Train Deep Detection Models [0.15469452301122172]
  本研究では, 微調整型安定拡散モデルによる合成データセット生成のための枠組みを提案する。 本研究の結果から, 合成データを用いた物体検出モデルは, ベースラインモデルと同じような性能を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-06-16T10:48:52Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Synthesizing Irreproducibility in Deep Networks [2.28438857884398]
  現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる) 単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。 モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-02-21T21:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。