論文の概要: Identifying Quality Indicators in Student Self-Reflections in Software Engineering
- arxiv url: http://arxiv.org/abs/2606.22683v1
- Date: Sun, 21 Jun 2026 21:52:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 07:36:58.130012
- Title: Identifying Quality Indicators in Student Self-Reflections in Software Engineering
- Title（参考訳）: ソフトウェア工学における学生の自己回帰における品質指標の同定
- Authors: Matthew Minish, Matthias Galster, Fabian Gilson,
- Abstract要約: 本研究は,ソフトウェア工学における学生のリフレクションを評価するための8指標スキームを作成するために,リフレクティブ・ライティング・フレームワークを構築した。
さらに,本研究では,フレームワークに対するリフレクション評価のための自動分類器を検証する。
- 参考スコア（独自算出の注目度）: 4.435094091999926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: Reflection is a fundamental skill in software engineering education, particularly in project-based courses where students learn through extended group work and need to develop their ability to reflect iteratively throughout their work. For students to benefit from reflection, their written reflections need to be assessed so that feedback can guide and improve their reflective practice. However, manually assessing written reflections to guide reflections is time-consuming, and often results in broad, non-specific feedback for a student to improve. Objective: This study builds on reflective writing frameworks to produce an eight-indicator scheme for assessing student reflections in software engineering. Furthermore, this study validates an automated classifier for assessing reflections against the framework, enabling scalable and structured feedback whilst reducing instructor workload. Method: We adapted existing reflection frameworks through iterative refinement to create our eight-indicator framework. Three annotators labelled student reflection texts, establishing moderate to reliable inter-rater agreement. We then trained and evaluated multiple encoder-only transformer models and compared them with decoder-only large language models using zero-shot prompting. Results: The fine-tuned RoBERTa model achieved the strongest performance, substantially outperforming decoder-only models in both accuracy and speed. The classifier demonstrated human-level agreement on most indicators whilst enabling near-instantaneous classification. We provide two model variants optimised for different assessment priorities. Conclusions: Our fine-tuned encoder-only models enable efficient automated assessment of reflective writing. The framework and automated classifier offer a means to provide timely, structured feedback on student reflections in software engineering.
- Abstract（参考訳）: コンテキスト: ふりかえりはソフトウェア工学教育の基本的なスキルであり、特にプロジェクトベースのコースでは、学生が拡張されたグループワークを通じて学び、仕事を通して反復的に反映する能力を開発する必要がある。
学生がリフレクションの恩恵を受けるためには、フィードバックがリフレクションの実践をガイドし改善できるように、自分のリフレクションを評価する必要がある。
しかし、リフレクションをガイドするために手動でリフレクションを評価するのに時間がかかり、学生が改善するための広範で非特異的なフィードバックをもたらすことが多い。
Objective: 本研究は,ソフトウェア工学における学生の振り返りを評価するための8指標スキームを作成するための,リフレクティブな記述フレームワークに基づく。
さらに,フレームワークに対するリフレクションを評価するための自動分類器を検証し,インストラクターの作業量を削減しつつ,スケーラブルで構造化されたフィードバックを可能にする。
メソッド: 反復的な改善を通じて既存のリフレクションフレームワークを適応させ、8指標フレームワークを作成しました。
3つのアノテータは学生のリフレクションテキストにラベルを付け、適度で信頼性の高いラター間合意を確立した。
次に,複数のエンコーダのみのトランスモデルを訓練,評価し,ゼロショットプロンプトを用いたデコーダのみの大規模言語モデルと比較した。
結果: 微調整されたRoBERTaモデルが最も性能が高く, デコーダのみのモデルよりも精度と速度が優れていた。
分類器は、ほぼ即時的な分類を可能にしながら、ほとんどの指標に対して人間レベルの一致を示した。
異なる評価優先順位に最適化された2つのモデル変種を提供する。
結論: 微調整エンコーダのみのモデルにより, 効率的なリフレクティブ・ライティングの自動評価が可能となる。
フレームワークと自動分類器は、ソフトウェア工学における学生のリフレクションに対するタイムリーで構造化されたフィードバックを提供する手段を提供する。
関連論文リスト
- Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs [63.88783817420284]
ロボットは、何がどうなったのか、なぜ失敗したのかを反映できず、展開を一連の独立した試行に転換する。
リフレクティブテストタイムプランニングを導入し、リフレクティブの2つのモードを統合する:textitreflection-in-actionと textitreflection-on-action
また、振り返りのリフレクションが含まれており、エージェントは事前の判断を再評価し、後向きでモデル更新を実行できます。
論文 参考訳（メタデータ） (2026-02-24T18:55:18Z) - Teaching Large Reasoning Models Effective Reflection [62.73646680747003]
大規模推論モデル(LRM)は、最近、複雑な推論タスクにおいて印象的なパフォーマンスを示している。
しかし、すべてのリフレクションが有益であるとは限らない。
まず,自己批判のみを用いてモデルの反射的推論能力を高める訓練フレームワークである自己批判ファインチューニング(SCFT)を提案する。
論文 参考訳（メタデータ） (2026-01-19T04:51:53Z) - Owlgorithm: Supporting Self-Regulated Learning in Competitive Programming through LLM-Driven Reflection [0.0]
競争プログラミング(CP)における自己統制学習(SRL)を支援する教育プラットフォームを提案する。
Owlgorithmは、個々の学生の提出に合わせた、文脈対応のメタプロンプトを生成する。
学生評価とTAフィードバックを探索的に評価した結果,有望なメリットと顕著な制限が認められた。
論文 参考訳（メタデータ） (2025-11-13T05:08:45Z) - First Try Matters: Revisiting the Role of Reflection in Reasoning Models [66.39546876232512]
我々は、モデルがすでに答を生み出しているが、その出力を確定する前に反射し続ける反射行動に焦点を当てる。
分析の結果,反射はおおむね肯定的であり,モデルの初期回答を変えることは滅多にないことがわかった。
本稿では,いくつかの候補解が生成されると推論プロセスが停止し,推論時間のトークン効率を向上させる質問認識早期検索手法を提案する。
論文 参考訳（メタデータ） (2025-10-09T14:57:10Z) - SAMULE: Self-Learning Agents Enhanced by Multi-level Reflection [14.40651157974557]
SAMULEは、多層反射合成に基づいて訓練された振り返り言語モデルを活用した、自己学習エージェントのための新しいフレームワークである。
まず、細かなエラー訂正のための単一軌道学習(マイクロレベル)、同じタスクの複数の試行でエラーを発生させるタスク内学習(メソレベル)、さまざまなタスク障害から同一の型付きエラーに基づいて伝達可能な洞察を抽出するタスク間学習(マクロレベル)の3段階にわたる高品質なリフレクションを合成する。
論文 参考訳（メタデータ） (2025-09-24T21:02:15Z) - Perception in Reflection [39.33505560810175]
本稿では,現在の大規模視覚言語モデルの限界を超越したリフレクションパラダイムを提案する。
本稿では、ポリシーと批判モデルとを体系的に交互に交互に行う二重モデル反射機構である反射知覚(RePer)を提案する。
論文 参考訳（メタデータ） (2025-04-09T17:59:02Z) - Instruct-of-Reflection: Enhancing Large Language Models Iterative Reflection Capabilities via Dynamic-Meta Instruction [11.838351314880736]
インストラクション・オブ・リフレクション(英: Instruct-of-Reflection、IoRT)は、大規模言語モデル(LLM)の反復的リフレクション能力を高めるために動的メタ命令を活用する、新しく一般的なリフレクションフレームワークである。
実験の結果、IoRTは数学的および常識的推論タスクにおいて、確立されたベースラインよりも平均10.1%向上していることがわかった。
論文 参考訳（メタデータ） (2025-03-02T14:02:03Z) - Meta-Reflection: A Feedback-Free Reflection Learning Framework [57.14485943991588]
外部からのフィードバックを伴わずに単一の推論パスのみを必要とするフィードバックフリーリフレクション機構であるメタリフレクションを提案する。
過去のリフレクションを記憶し、取り出す人間の能力によって、メタリフレクションはコードブックに反射的な洞察を統合する。
実世界のシナリオにおけるメタリフレクションの実践性を徹底的に検討し,評価するために,E-Commerce Customer Intent Detectionという産業eコマースベンチマークを導入する。
論文 参考訳（メタデータ） (2024-12-18T12:20:04Z) - Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。
まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。
テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
論文 参考訳（メタデータ） (2024-11-25T17:11:54Z) - Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。
人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。
要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-16T06:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。