論文の概要: Estimating Difficulty Levels of Programming Problems with Pre-trained Model

• arxiv url: http://arxiv.org/abs/2406.08828v1
• Date: Thu, 13 Jun 2024 05:38:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-14 21:08:42.597700
• Title: Estimating Difficulty Levels of Programming Problems with Pre-trained Model
• Title（参考訳）: 事前学習モデルによるプログラミング問題の難易度推定
• Authors: Zhiyuan Wang, Wei Zhang, Jun Wang,
• Abstract要約: プログラミング問題の難易度は、生徒の適応学習を導く上で不可欠な基準となっている。 テキスト記述とコードの解の例から,各プログラム問題の難易度自動推定の問題を定式化する。 この問題に対処するため,テキストモダリティとコードモダリティの2つの事前学習モデルを統一モデルに分割することを提案する。
• 参考スコア（独自算出の注目度）: 18.92661958433282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the demand for programming skills grows across industries and academia, students often turn to Programming Online Judge (POJ) platforms for coding practice and competition. The difficulty level of each programming problem serves as an essential reference for guiding students' adaptive learning. However, current methods of determining difficulty levels either require extensive expert annotations or take a long time to accumulate enough student solutions for each problem. To address this issue, we formulate the problem of automatic difficulty level estimation of each programming problem, given its textual description and a solution example of code. For tackling this problem, we propose to couple two pre-trained models, one for text modality and the other for code modality, into a unified model. We built two POJ datasets for the task and the results demonstrate the effectiveness of the proposed approach and the contributions of both modalities.
• Abstract（参考訳）: プログラミングスキルの需要が産業や学界に広がるにつれて、学生はコーディングの実践と競争のためにプログラミングオンライン審査(POJ)プラットフォームに目を向けることが多い。 プログラミング問題の難易度は、生徒の適応学習を導く上で不可欠な基準となっている。 しかし、難易度を決定する現在の方法は、広範囲な専門家のアノテーションを必要とするか、あるいは各問題に対する十分な学生ソリューションを蓄積するのに長い時間がかかる。 この問題に対処するために、テキスト記述とコードの解例を考慮し、各プログラム問題の難易度自動推定の問題を定式化する。 この問題に対処するため,テキストモダリティとコードモダリティの2つの事前学習モデルを統一モデルに分割することを提案する。 このタスクのために2つのPOJデータセットを構築し,提案手法の有効性と両モードの寄与を実証した。

関連論文リスト

• THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models [65.39456695678713]
  本稿では,問題レベルの難易度を近似的に測定し,問題の難易度と最適なトークン使用量との間に明確な関係があることを実証する。 一般に、推論モデルは、特に簡単な問題に対して、キャリブレーションが不十分である。 トレーニング不要なブラックボックス復号法であるTHOUGHTTERMINATORを導入する。
  論文  参考訳（メタデータ） (2025-04-17T22:16:30Z)
• Probing the Unknown: Exploring Student Interactions with Probeable Problems at Scale in Introductory Programming [4.1153199495993364]
  本研究では、意図的な曖昧さや不完全な仕様を持つ自動段階的タスクであるProbeable Problems'の使用について検討する。 このような問題に対して、学生はテストのインプットを提出するか、あるいは「調査」し、実施前の要件を明らかにする必要がある。 コーディング前に期待される振る舞いを徹底的に探求するなど、体系的な戦略は、間違ったコードへの提出を減らし、コースの成功と相関する結果となった。
  論文  参考訳（メタデータ） (2025-04-16T02:50:00Z)
• DAST: Difficulty-Aware Self-Training on Large Language Models [68.30467836807362]
  大規模言語モデル(LLM)の自己学習手法は、常に挑戦的なクエリのアンダーサンプルである。 本研究は,自己生成応答の量と品質を改善することに焦点を当てた,難易度を考慮した自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-12T03:36:45Z)
• EHOP: A Dataset of Everyday NP-Hard Optimization Problems [66.41749917354159]
  Everyday Hard Optimization Problems (EHOP) は、自然言語で表されるNPハード最適化問題の集合である。 EHOPには、コンピュータサイエンスの教科書で見られる問題の定式化、実生活で起こりうる問題として着飾られたバージョン、逆ルールでよく知られた問題の変種が含まれている。 現状のLLMは、複数のプロンプト戦略にまたがって、実生活や逆転型よりも教科書問題を体系的に高精度に解決していることがわかった。
  論文  参考訳（メタデータ） (2025-02-19T14:39:59Z)
• Knowledge Tracing in Programming Education Integrating Students' Questions [0.0]
  本稿では,学生の質問を活用し,スキル情報を自動的に抽出する知識追跡モデルであるSQKT(Students' Question-based Knowledge Tracing)を紹介する。 実験の結果,難易度が異なる様々なPythonプログラミングコースにおいて,SQKTが生徒の完成度を予測する上で,優れた性能を示した。 SQKTは、コンピュータサイエンス教育における個別の学習ニーズに合わせて教育コンテンツを調整し、適応的な学習システムの設計に使用することができる。
  論文  参考訳（メタデータ） (2025-01-22T14:13:40Z)
• Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization [126.27645170941268]
  さまざまなドメインにまたがる6つのベンチマークデータセットのコレクションであるEasy2Hard-Benchを紹介します。 これらのデータセット内の各問題は、数値的な難易度スコアで注釈付けされる。 様々な難易度にまたがる性能と一般化能力を総合的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T03:49:56Z)
• Learning Task Decomposition to Assist Humans in Competitive Programming [90.4846613669734]
  タスク分解学習のための新しい目的,いわゆる値(AssistV)を導入する。 我々は、さまざまな分解されたソリューションに対して、人間の修理経験のデータセットを収集する。 人間の177時間以内の研究では、非専門家が33.3%の問題を解き、それらを3.3倍スピードアップさせ、無支援の専門家にマッチさせる権限を与える。
  論文  参考訳（メタデータ） (2024-06-07T03:27:51Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)
• PPM: Automated Generation of Diverse Programming Problems for Benchmarking Code Generation Models [10.491051578439722]
  本稿では,PPM(Programling problem merging)の概念を提案し,この概念の2つの実装を提供し,このツールを広く利用されている2つのデータセット上で活用する。 その結果、より困難で多様な、そして自然なプログラミング問題を生み出す上で、我々のツールの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-28T02:27:38Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• ACES: Generating Diverse Programming Puzzles with with Autotelic Generative Models [20.039580079339537]
  Autotelic CodE Search (ACES)は、生成した問題の多様性と難易度を共同で最適化する。 問題解決に必要なプログラミングスキルを記述したセマンティック記述子の空間における問題を表現する。 ACESは、ターゲットセマンティック記述子の多様性を達成するため、大きな言語モデルに難しい問題を引き起こすことを反復的に促します。
  論文  参考訳（メタデータ） (2023-10-15T14:57:14Z)
• Tag Prediction of Competitive Programming Problems using Deep Learning Techniques [0.0]
  プログラミング能力を開発するためのよく似た方法は、競争力のあるプログラミングである。 初心者にとってもベテランプログラマにとっても,幅広い質問を交わすことは難しいかも知れません。 これは、テキスト分類を使用して質問のタグ付けを自動的に行うことができる。
  論文  参考訳（メタデータ） (2023-08-03T16:39:02Z)
• Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning [10.889271604723312]
  思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。 本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。 3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-05-29T16:01:40Z)
• Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training [65.10741459705739]
  本稿では,数学的問題表現,すなわち QuesCo に対する対照的な事前学習手法を提案する。 まず、コンテンツレベルと構造レベルを含む2段階の質問強化を設計し、類似した目的で文字通り多様な質問ペアを生成する。 そこで我々は,知識概念の階層的情報を完全に活用するために,知識階層を意識したランク戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T14:23:29Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。