論文の概要: A Dataset for Modeling Iterative Problem-Solving

• arxiv url: http://arxiv.org/abs/2609.00940v1
• Date: Tue, 01 Sep 2026 09:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.489092
• Title: A Dataset for Modeling Iterative Problem-Solving
• Title（参考訳）: 反復的問題解決のためのデータセット
• Authors: Fagun Patel, Sang T. Truong, Duc Q. Nguyen, Kazunori Fukuhara, Benjamin W. Domingue, Sanmi Koyejo, Nick Haber,
• Abstract要約: パラメトリック、シーケンシャル、生成の伝統にまたがるモデルを評価するベンチマークを構築します。 この設定では,モデルの符号化能力は,予測性能と逆関係であることがわかった。
• 参考スコア（独自算出の注目度）: 26.98102675986399
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Solving problems through repeated attempts is a sequential modeling task: at each step, the solver receives feedback and decides how to revise their solutions. Predicting whether performance improves, plateaus, or regresses across attempts is central to understanding any iterative problem-solving process in both human learners and autonomous agents. Beyond outcomes, modeling what errors persist and how strategies shift across attempts provides deeper insight into the mechanics of sequential learning. Studying these dynamics requires observing many solvers as they attempt, receive feedback, and revise. Programming courses with automated grading provide this setting, as students iteratively submit code to test suites and receive feedback on every attempt. We therefore curate CodeInsight, a large-scale dataset of over 3 million submissions from 3,286 undergraduates across 2 introductory C++ courses in 2 academic years, with test-case-level outcomes, timestamps, and source code. On this dataset, we build a benchmark that evaluates models spanning parametric, sequential, and generative traditions under a shared calibration-and-scoring protocol, including a Recurrent State Space Model (RSSM) adapted to track solver characteristics through discrete latent variables and an LLM-based predictor that generates explicit solutions. The adapted RSSM achieves the strongest predictive accuracy on three of the four courses. The LLM predictor is less accurate but produces full submissions at each attempt, enabling direct analysis of failure modes. We find that the model's coding proficiency is inversely related to predictive performance in this setting, with the LLM better understood as a generative solver conditioned on context rather than a faithful predictor of solver behavior. We publicly release our code and the dataset on request to facilitate future research.
• Abstract（参考訳）: 繰り返し試みによって問題を解決することは、逐次モデリングのタスクである。各ステップで、解決者はフィードバックを受け取り、解決策をどう修正するかを決定する。 人間の学習者と自律的なエージェントの両方において、反復的な問題解決プロセスを理解する上で、パフォーマンスの改善、台帳、試行錯誤の予測が重要である。 結果の他に、どのようなエラーが持続するかをモデル化し、試みを横断する戦略がどのようにシフトするかは、シーケンシャルな学習の仕組みに関する深い洞察を与えます。 これらの力学を研究するためには、多くの解法を観察し、フィードバックを受け取り、修正する必要がある。 学生が反復的にテストスイートにコードを提出し、すべての試みに対するフィードバックを受け取る。 そこで、CodeInsightは、2年間に3,286人の学部生による2つの入門C++コースにわたる300万件以上の応募データセットを、テストケースレベルの結果、タイムスタンプ、ソースコードでキュレートします。 本データセットでは,パラメトリック,シーケンシャル,ジェネレーティブの伝統にまたがるモデルを評価するベンチマークを構築し,離散潜在変数による解法特性の追跡に適応したリカレントステートスペースモデル(RSSM)と,明示的な解を生成するLLMベースの予測器を含む,共有キャリブレーション・アンド・スコアプロトコルを用いて評価を行う。 適応型RSSMは4つのコースのうち3つのコースにおいて最も高い予測精度を達成する。 LLM予測器は精度は低いが、各試行で完全な入力を生成し、障害モードの直接解析を可能にする。 この設定では,モデル符号化の習熟度が予測性能と逆関係であることに気付き,LLMは問題解決行動の忠実な予測よりも,文脈に条件づけられた生成的解法としてよく理解されている。 将来の研究を促進するために、コードとデータセットをリクエストで公開しています。

関連論文リスト

• SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
  敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。 オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。 予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
  論文  参考訳（メタデータ） (2025-09-12T02:53:57Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task [25.38082751323396]
  AEF-OCL (Analytic Exemplar-Free Online Continual Learning Algorithm) を提案する。 AEF-OCLは解析的連続学習原理を活用し、大きなバックボーンネットワークによって抽出された特徴の分類器としてリッジ回帰を用いる。 実験結果から, 自動走行SODA10Mデータセットにおいて, 提案手法は, 既往の戦略であるにもかかわらず, 様々な手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-28T03:19:15Z)
• Winning solutions and post-challenge analyses of the ChaLearn AutoDL challenge 2019 [112.36155380260655]
  本稿では,ChaLearnのAutoDLチャレンジシリーズの結果と今後の課題について述べる。 その結果,一般的なニューラルネットワーク探索(NAS)は実用的ではなかったものの,DL手法が支配的であったことが示唆された。 メタラーナー"、"データインジェクタ"、"モデルセレクタ"、"モデル/ラーナー"、"評価器"を特徴とする、ハイレベルなモジュール化組織が登場した。
  論文  参考訳（メタデータ） (2022-01-11T06:21:18Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。