論文の概要: Explain in Plain Language Questions with Indic Languages: Drawbacks, Affordances, and Opportunities
- arxiv url: http://arxiv.org/abs/2409.20297v1
- Date: Mon, 30 Sep 2024 13:56:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-02 10:12:47.503492
- Title: Explain in Plain Language Questions with Indic Languages: Drawbacks, Affordances, and Opportunities
- Title（参考訳）: 平易な言語とインデックス言語: 図面, 順調さ, 機会
- Authors: David H. Smith IV, Viraj Kumar, Paul Denny,
- Abstract要約: 我々は,最近導入されたCGBG (Code Generation Based Grading) による,平易言語活動における言語に依存しない説明を可能にする手法の有効性を評価した。
- 参考スコア（独自算出の注目度）: 1.9121661610146587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: Introductory computer science courses use ``Explain in Plain English'' (EiPE) activities to develop and assess students' code comprehension skills, but creating effective autograders for these questions is challenging and limited to English. This is a particular challenge in linguistically diverse countries like India where students may have limited proficiency in English. Methods: We evaluate the efficacy of a recently introduced approach called Code Generation Based Grading (CGBG) in enabling language agnostic ``Explain in Plain Language'' (EiPL) activities. Here students' EiPL responses generate code that is tested for functional equivalence to the original which was being described. Objectives: We initially evaluate the correctness of code generated from correct EiPL responses provided in 10 of India's most commonly spoken languages. To evaluate the effectiveness of the approach in practice, we assess student success and perceptions of EiPL questions in a NPTEL (National Programme on Technology Enhanced Learning) course. Results: We find promising results for the correctness of code generated from translations of correct EiPL responses, with most languages achieving a correctness rate of 75% or higher. However, in practice, many students preferred to respond in English due to greater familiarity with English as a technical language, difficulties writing in their native language, and perceptions of the grader being less capable of generating code from prompts in their mother tongue.
- Abstract（参考訳）: 背景: イントロダクティブコンピュータサイエンスコースでは, 学生のコード理解スキルを育成・評価するために, 「平易な英語で説明する」活動を利用しているが, これらの質問に対する効果的なオートグラファーの作成は困難であり, 英語に限られている。
これは、学生が英語の習熟度に限界があるインドのような言語的に多様な国において、特に課題である。
方法: 最近導入されたコード生成ベースグラディング (CGBG) による言語に依存しない「平易な言語での説明 (EiPL) 活動の実現効果を評価した。
ここで、学生のEiPL応答は、記述されていた元の値と機能的等価性をテストするコードを生成する。
目的: インドで最も一般的に話されている10言語のうち、正しいEiPL応答から生成されたコードの正確性を評価する。
本手法の有効性を評価するため,NPTEL(National Programme on Technology Enhanced Learning)コースにおいて,EiPL質問の学生の成功と知覚を評価する。
結果: 正しいEePL応答の翻訳から生成したコードの正当性について, ほとんどの言語が75%以上の正当性を達成するという有望な結果が得られた。
しかし、実際には、多くの学生が英語を専門言語として親しみやすく、母国語で書くのが難しいこと、母国語のプロンプトからコードを生成することができないという認識から、英語で回答することを好んだ。
関連論文リスト
- PLUM: Preference Learning Plus Test Cases Yields Better Code Language Models [28.791570350483816]
PLUMは、コードLMにおける好み学習の重要な成功要因と潜在的利益について調査することを目的としている。
PLUMは、既存のコード生成ベンチマークにおける既存のコードLMのパフォーマンスを大幅に改善する。
論文 参考訳（メタデータ） (2024-06-11T02:07:18Z) - Explaining Code with a Purpose: An Integrated Approach for Developing
Code Comprehension and Prompting Skills [4.776920192249936]
我々は,EePE質問に対する学生の回答に基づいて,LLMを用いてコードを生成することを提案する。
我々は,EePEの問題解決に有効なプロンプトの作成に学生が成功したことを報告した。
論文 参考訳（メタデータ） (2024-03-10T00:23:08Z) - Code Generation Based Grading: Evaluating an Auto-grading Mechanism for
"Explain-in-Plain-English" Questions [0.0]
コード生成ベースグラディング(CGBG)は、人間の学年と適度に合意する。
CGBGは、コードの低レベルおよびライン・バイ・ライン記述に関して、人間のグレードラーと適度に合意する。
論文 参考訳（メタデータ） (2023-11-25T02:45:00Z) - UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。
本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。
学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
論文 参考訳（メタデータ） (2023-05-31T11:29:04Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - Large Language Models (GPT) Struggle to Answer Multiple-Choice Questions
about Code [0.0]
我々は,3つの生成事前学習型トランスフォーマー(GPT)モデルの有効性を,MCQ (Multiple-choice Question) の評価に答えるために分析した。
これらの知見は、プログラミングコースにおける教育実践や評価に適応するために、教育者によって活用することができる。
論文 参考訳（メタデータ） (2023-03-09T16:52:12Z) - LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。
具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。
LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
論文 参考訳（メタデータ） (2023-02-16T18:23:22Z) - Python Code Generation by Asking Clarification Questions [57.63906360576212]
本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。
我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。
我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
論文 参考訳（メタデータ） (2022-12-19T22:08:36Z) - MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
英語以外の自然言語コマンドからコード生成をベンチマークします。
スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。
難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
論文 参考訳（メタデータ） (2022-03-16T04:21:50Z) - The Effectiveness of Intermediate-Task Training for Code-Switched
Natural Language Understanding [15.54831836850549]
コードスイッチトテキストを用いた3つの異なるNLPタスクの性能向上を導出するための信頼性の高い手法としてバイリンガル中間訓練を提案する。
我々は,従来の最先端システムと比較して,平均精度とF1スコアに対して,7.87%,20.15%,および10.99%の実質的な改善を実現している。
SAの4つの言語ペア(ヒンディー語、スペイン語、タミル語、マラヤラム語)において、一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2021-07-21T08:10:59Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳（メタデータ） (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。