論文の概要: Estimating Difficulty Levels of Programming Problems with Pre-trained Model

• arxiv url: http://arxiv.org/abs/2406.08828v1
• Date: Thu, 13 Jun 2024 05:38:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 21:08:42.597700
• Title: Estimating Difficulty Levels of Programming Problems with Pre-trained Model
• Title（参考訳）: 事前学習モデルによるプログラミング問題の難易度推定
• Authors: Zhiyuan Wang, Wei Zhang, Jun Wang,
• Abstract要約: プログラミング問題の難易度は、生徒の適応学習を導く上で不可欠な基準となっている。 テキスト記述とコードの解の例から,各プログラム問題の難易度自動推定の問題を定式化する。 この問題に対処するため,テキストモダリティとコードモダリティの2つの事前学習モデルを統一モデルに分割することを提案する。
• 参考スコア（独自算出の注目度）: 18.92661958433282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the demand for programming skills grows across industries and academia, students often turn to Programming Online Judge (POJ) platforms for coding practice and competition. The difficulty level of each programming problem serves as an essential reference for guiding students' adaptive learning. However, current methods of determining difficulty levels either require extensive expert annotations or take a long time to accumulate enough student solutions for each problem. To address this issue, we formulate the problem of automatic difficulty level estimation of each programming problem, given its textual description and a solution example of code. For tackling this problem, we propose to couple two pre-trained models, one for text modality and the other for code modality, into a unified model. We built two POJ datasets for the task and the results demonstrate the effectiveness of the proposed approach and the contributions of both modalities.
• Abstract（参考訳）: プログラミングスキルの需要が産業や学界に広がるにつれて、学生はコーディングの実践と競争のためにプログラミングオンライン審査(POJ)プラットフォームに目を向けることが多い。 プログラミング問題の難易度は、生徒の適応学習を導く上で不可欠な基準となっている。 しかし、難易度を決定する現在の方法は、広範囲な専門家のアノテーションを必要とするか、あるいは各問題に対する十分な学生ソリューションを蓄積するのに長い時間がかかる。 この問題に対処するために、テキスト記述とコードの解例を考慮し、各プログラム問題の難易度自動推定の問題を定式化する。 この問題に対処するため,テキストモダリティとコードモダリティの2つの事前学習モデルを統一モデルに分割することを提案する。 このタスクのために2つのPOJデータセットを構築し,提案手法の有効性と両モードの寄与を実証した。

関連論文リスト

• Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization [126.27645170941268]
  さまざまなドメインにまたがる6つのベンチマークデータセットのコレクションであるEasy2Hard-Benchを紹介します。 これらのデータセット内の各問題は、数値的な難易度スコアで注釈付けされる。 様々な難易度にまたがる性能と一般化能力を総合的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T03:49:56Z)
• Learning Task Decomposition to Assist Humans in Competitive Programming [90.4846613669734]
  タスク分解学習のための新しい目的,いわゆる値(AssistV)を導入する。 我々は、さまざまな分解されたソリューションに対して、人間の修理経験のデータセットを収集する。 人間の177時間以内の研究では、非専門家が33.3%の問題を解き、それらを3.3倍スピードアップさせ、無支援の専門家にマッチさせる権限を与える。
  論文  参考訳（メタデータ） (2024-06-07T03:27:51Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)
• PPM: Automated Generation of Diverse Programming Problems for Benchmarking Code Generation Models [10.491051578439722]
  本稿では,PPM(Programling problem merging)の概念を提案し,この概念の2つの実装を提供し,このツールを広く利用されている2つのデータセット上で活用する。 その結果、より困難で多様な、そして自然なプログラミング問題を生み出す上で、我々のツールの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-28T02:27:38Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• ACES: Generating Diverse Programming Puzzles with with Autotelic Generative Models [20.039580079339537]
  Autotelic CodE Search (ACES)は、生成した問題の多様性と難易度を共同で最適化する。 問題解決に必要なプログラミングスキルを記述したセマンティック記述子の空間における問題を表現する。 ACESは、ターゲットセマンティック記述子の多様性を達成するため、大きな言語モデルに難しい問題を引き起こすことを反復的に促します。
  論文  参考訳（メタデータ） (2023-10-15T14:57:14Z)
• Tag Prediction of Competitive Programming Problems using Deep Learning Techniques [0.0]
  プログラミング能力を開発するためのよく似た方法は、競争力のあるプログラミングである。 初心者にとってもベテランプログラマにとっても,幅広い質問を交わすことは難しいかも知れません。 これは、テキスト分類を使用して質問のタグ付けを自動的に行うことができる。
  論文  参考訳（メタデータ） (2023-08-03T16:39:02Z)
• Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning [10.889271604723312]
  思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。 本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。 3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-05-29T16:01:40Z)
• Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training [65.10741459705739]
  本稿では,数学的問題表現,すなわち QuesCo に対する対照的な事前学習手法を提案する。 まず、コンテンツレベルと構造レベルを含む2段階の質問強化を設計し、類似した目的で文字通り多様な質問ペアを生成する。 そこで我々は,知識概念の階層的情報を完全に活用するために,知識階層を意識したランク戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T14:23:29Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。