Fugu-MT 論文翻訳(概要): Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation

論文の概要: Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation

arxiv url: http://arxiv.org/abs/2410.09318v2
Date: Tue, 15 Oct 2024 05:48:40 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 15:13:33.212823
Title: Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation
Title（参考訳）: 逆摂動による導入計画課題におけるLLM支援加熱の障害
Authors: Saiful Islam Salim, Rubin Yuchan Yang, Alexander Cooper, Suryashree Ray, Saumya Debray, Sazzadur Rahaman,
Abstract要約: LLM(Large Language Model)ベースのプログラミングアシスタントは、プロのソフトウェア開発者の生産性を向上させるだけでなく、初歩的なコンピュータプログラミングコースでの不正行為を容易にする。本稿では,導入プログラミング問題の収集に広く使用されている5つのLCMのベースライン性能について検討し,その性能を劣化させるために,逆方向の摂動を調べるとともに,導入プログラミング課題の実際のコード生成を妨げる上で,そのような摂動の有効性を理解することを目的としたユーザスタディの結果について述べる。
参考スコア（独自算出の注目度）: 42.49889252988544
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: While Large language model (LLM)-based programming assistants such as CoPilot and ChatGPT can help improve the productivity of professional software developers, they can also facilitate cheating in introductory computer programming courses. Assuming instructors have limited control over the industrial-strength models, this paper investigates the baseline performance of 5 widely used LLMs on a collection of introductory programming problems, examines adversarial perturbations to degrade their performance, and describes the results of a user study aimed at understanding the efficacy of such perturbations in hindering actual code generation for introductory programming assignments. The user study suggests that i) perturbations combinedly reduced the average correctness score by 77%, ii) the drop in correctness caused by these perturbations was affected based on their detectability.
Abstract（参考訳）: CoPilotやChatGPTのようなLLM(Large Language Model)ベースのプログラミングアシスタントは、プロのソフトウェア開発者の生産性を向上させるのに役立ちます。本稿では, インストラクタが産業力モデルに対して限定的な制御を行うと仮定し, 導入プログラミング問題の収集に広く用いられている5つのLCMのベースライン性能について検討し, 性能を劣化させるために, 対角摂動を検証し, 導入プログラミング課題の実際のコード生成を阻害する上で, そのような摂動の有効性を理解することを目的としたユーザスタディの結果について述べる。ユーザー調査は一摂動により平均正当性スコアが77%低下したこと。二これらの摂動による正当性の低下は、その検出可能性により影響される。

関連論文リスト

Eliciting Causal Abilities in Large Language Models for Reasoning Tasks [14.512834333917414]
我々は,LLMが高品質で低品質な観測データを生成することができる自己因果的指導強化法(SCIE)を導入する。 SCIEでは、命令は治療として扱われ、自然言語を処理するためにテキストの特徴が使用される。提案手法は,プロンプトのトレーニングコストを削減し,推論性能を向上させる命令を効果的に生成する。
論文参考訳（メタデータ） (2024-12-19T17:03:02Z)
Embedding Self-Correction as an Inherent Ability in Large Language Models for Enhanced Mathematical Reasoning [13.082135438792475]
自己補正の連鎖は、大規模言語モデルに固有の能力として自己補正を組み込む。 CoSCは一連の自己補正段階を通して機能する。実験により、CoSCは標準的な数学的データセットの性能を大幅に向上させることが示された。
論文参考訳（メタデータ） (2024-10-14T17:16:44Z)
Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文参考訳（メタデータ） (2024-10-05T05:21:48Z)
Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
論文参考訳（メタデータ） (2024-08-29T10:00:57Z)
SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文参考訳（メタデータ） (2024-08-28T06:33:03Z)
Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文参考訳（メタデータ） (2024-07-17T11:35:00Z)
Agent-Driven Automatic Software Improvement [55.2480439325792]
本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
論文参考訳（メタデータ） (2024-06-24T15:45:22Z)
Improving LLM Classification of Logical Errors by Integrating Error Relationship into Prompts [1.7095867620640115]
プログラミング教育の重要な側面は、エラーメッセージの理解と処理である。プログラムがプログラマの意図に反して動作している「論理エラー」は、コンパイラからエラーメッセージを受け取らない。そこで本研究では,LLMを用いた論理的誤り検出手法を提案し,この手法を用いて,Chain-of-ThoughtとTree-of-Thoughtのプロンプトのエラータイプ間の関係を推定する。
論文参考訳（メタデータ） (2024-04-30T08:03:22Z)
Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction [62.409807640887834]
中国語の文法的誤り訂正(CGEC)は、入力文中のすべての文法的誤りを修正することを目的としている。 CGECの修正器としてのLLMの性能は、課題の焦点が難しいため不満足なままである。 CGECタスクにおけるLCMの役割を再考し、CGECでよりよく活用し、探索できるようにした。
論文参考訳（メタデータ） (2024-02-18T01:40:34Z)
How to Teach Programming in the AI Era? Using LLMs as a Teachable Agent for Debugging [28.321080454393687]
大規模言語モデル(LLM)は、生成スキルに優れ、実行不可能な速度でコンテンツを作成することができる。人間の初心者は、教師アシスタントの役割を担い、LLMで教えられるエージェントのコードを支援する。そこで我々は,人間の初心者が指導アシスタントの役割を担い,LLMを利用した学習エージェントのコード作成を支援する,デバッグの意図的な実践を促進する新しいシステムであるPhyを紹介した。
論文参考訳（メタデータ） (2023-10-08T21:39:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。