論文の概要: LLM-itation is the Sincerest Form of Data: Generating Synthetic Buggy Code Submissions for Computing Education

• arxiv url: http://arxiv.org/abs/2411.10455v1
• Date: Fri, 01 Nov 2024 00:24:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-24 05:33:21.014692
• Title: LLM-itation is the Sincerest Form of Data: Generating Synthetic Buggy Code Submissions for Computing Education
• Title（参考訳）: LLM-itation is the Sincerest Form of Data: Generating Synthetic Buggy Code Submissions for Computing Education
• Authors: Juho Leinonen, Paul Denny, Olli Kiljunen, Stephen MacNeil, Sami Sarsa, Arto Hellas,
• Abstract要約: 大規模言語モデル(LLM)は、大規模でプライバシを保存する合成データを作成するための有望なアプローチを提供する。 本研究は,GPT-4oを用いた導入プログラミング演習のための合成バグギーコード生成について検討する。 合成データと実生データ間のテストケース故障の分布を比較し,実生データを模倣した合成データの精度を解析した。
• 参考スコア（独自算出の注目度）: 5.421088637597145
• License:
• Abstract: There is a great need for data in computing education research. Data is needed to understand how students behave, to train models of student behavior to optimally support students, and to develop and validate new assessment tools and learning analytics techniques. However, relatively few computing education datasets are shared openly, often due to privacy regulations and issues in making sure the data is anonymous. Large language models (LLMs) offer a promising approach to create large-scale, privacy-preserving synthetic data, which can be used to explore various aspects of student learning, develop and test educational technologies, and support research in areas where collecting real student data may be challenging or impractical. This work explores generating synthetic buggy code submissions for introductory programming exercises using GPT-4o. We compare the distribution of test case failures between synthetic and real student data from two courses to analyze the accuracy of the synthetic data in mimicking real student data. Our findings suggest that LLMs can be used to generate synthetic incorrect submissions that are not significantly different from real student data with regard to test case failure distributions. Our research contributes to the development of reliable synthetic datasets for computing education research and teaching, potentially accelerating progress in the field while preserving student privacy.
• Abstract（参考訳）: コンピューティング教育研究にはデータが必要である。 生徒の振る舞いを理解し、生徒の行動をモデルに訓練し、生徒を最適に支援し、新しいアセスメントツールや学習分析技術を開発し、検証するためには、データが必要である。 しかしながら、プライバシ規則や、データが匿名であることを保証する問題のために、比較的少数のコンピューティング教育データセットがオープンに共有されている。 大規模言語モデル(LLM)は、大規模でプライバシー保護された合成データを作成するための有望なアプローチを提供する。これは、学生の学習のさまざまな側面を探求し、教育技術を開発し、テストし、実際の学生データの収集が困難または非現実的な分野の研究を支援するために使用できる。 本研究は,GPT-4oを用いた導入プログラミング演習のための合成バグギーコード生成について検討する。 合成データと実生データ間のテストケース故障の分布を比較し,実生データを模倣した合成データの精度を解析した。 本研究は, LLMを用いて, 実生データと有意な差のない合成誤記を生成できることを示唆する。 我々の研究は、コンピュータ教育研究と教育のための信頼性の高い合成データセットの開発に寄与し、学生のプライバシーを維持しながら、この分野の進歩を加速させる可能性がある。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
  AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。 合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
  論文  参考訳（メタデータ） (2024-04-11T06:34:17Z)
• Assessment of Differentially Private Synthetic Data for Utility and Fairness in End-to-End Machine Learning Pipelines for Tabular Data [3.555830838738963]
  差分プライベート(DP)合成データセットは、個々のデータプロバイダのプライバシを保持しながらデータを共有するためのソリューションである。 機械学習モデルの訓練と評価に最も効果的な合成データ生成手法を同定する。
  論文  参考訳（メタデータ） (2023-10-30T03:37:16Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Customizing Synthetic Data for Data-Free Student Learning [6.8080936803807734]
  DFKDは、オリジナルトレーニングデータなしで軽量な学生モデルを得ることを目指している。 生徒モデルをより効果的に訓練するために、合成データを現在の学生学習能力に合わせてカスタマイズする。 本稿では,データ自由学習(CSD)のための合成データのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-07-10T13:17:29Z)
• Beyond Privacy: Navigating the Opportunities and Challenges of Synthetic Data [91.52783572568214]
  合成データは、機械学習の世界において支配的な力となり、データセットを個々のニーズに合わせて調整できる未来を約束する。 合成データのより広範な妥当性と適用のために,コミュニティが克服すべき根本的な課題について論じる。
  論文  参考訳（メタデータ） (2023-04-07T16:38:40Z)
• Synthetic Data in Healthcare [10.555189948915492]
  本稿では,データ作成のための物理・統計シミュレーションの事例と医療・医療への応用について述べる。 人工物は、プライバシ、エクイティ、安全性、継続的な、因果学習を促進することができるが、欠陥や盲点を導入し、バイアスを伝播または誇張するリスクも負う。
  論文  参考訳（メタデータ） (2023-04-06T17:23:39Z)
• Machine Learning for Synthetic Data Generation: A Review [23.073056971997715]
  本稿では,合成データの生成を目的とした機械学習モデルを用いた既存研究についてレビューする。 このレビューは、合成データ生成、コンピュータビジョン、スピーチ、自然言語処理、ヘルスケア、ビジネスドメインの応用から始まる様々な視点を網羅している。 この論文は、合成データ生成に関するプライバシーと公平性に関する重要な側面についても論じている。
  論文  参考訳（メタデータ） (2023-02-08T13:59:31Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• Foundations of Bayesian Learning from Synthetic Data [1.6249267147413522]
  我々はベイズパラダイムを用いて、合成データから学習する際のモデルパラメータの更新を特徴付ける。 ベイジアン・アップデートの最近の成果は、決定理論に基づく新しい、堅牢な合成学習のアプローチを支持している。
  論文  参考訳（メタデータ） (2020-11-16T21:49:17Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。