論文の概要: A Systematic Literature Review of Empiricism and Norms of Reporting in Computing Education Research Literature

• arxiv url: http://arxiv.org/abs/2107.01984v1
• Date: Fri, 2 Jul 2021 16:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 18:26:35.162310
• Title: A Systematic Literature Review of Empiricism and Norms of Reporting in Computing Education Research Literature
• Title（参考訳）: コンピュータ教育研究文学における経験主義と報告のノームの体系的文献レビュー
• Authors: Sarah Heckman and Jeffrey C. Carver and Mark Sherriff and Ahmed Al-Zubidy
• Abstract要約: 本研究の目的は,コンピュータ教育研究(CER)文学における経験主義の報告を特徴付けることである。 2014年と2015年に5つのCER会場で427件の論文のSLRを行った。 80%以上の論文がある種の経験的評価をしていた。
• 参考スコア（独自算出の注目度）: 4.339510167603376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computing Education Research (CER) is critical for supporting the increasing number of students who need to learn computing skills. To systematically advance knowledge, publications must be clear enough to support replications, meta-analyses, and theory-building. The goal of this study is to characterize the reporting of empiricism in CER literature by identifying whether publications include information to support replications, meta-analyses, and theory building. The research questions are: RQ1) What percentage of papers in CER venues have empirical evaluation? RQ2) What are the characteristics of the empirical evaluation? RQ3) Do the papers with empirical evaluation follow reporting norms (both for inclusion and for labeling of key information)? We conducted an SLR of 427 papers published during 2014 and 2015 in five CER venues: SIGCSE TS, ICER, ITiCSE, TOCE, and CSE. We developed and applied the CER Empiricism Assessment Rubric. Over 80% of papers had some form of empirical evaluation. Quantitative evaluation methods were the most frequent. Papers most frequently reported results on interventions around pedagogical techniques, curriculum, community, or tools. There was a split in papers that had some type of comparison between an intervention and some other data set or baseline. Many papers lacked properly reported research objectives, goals, research questions, or hypotheses, description of participants, study design, data collection, and threats to validity. CER authors are contributing empirical results to the literature; however, not all norms for reporting are met. We encourage authors to provide clear, labeled details about their work so readers can use the methodologies and results for replications and meta-analyses. As our community grows, our reporting of CER should mature to help establish computing education theory to support the next generation of computing learners.
• Abstract（参考訳）: コンピュータ教育研究(CER)は、コンピュータのスキルを習得する学生の増加をサポートするために重要である。 知識を体系的に前進させるためには、出版物は複製、メタ分析、理論構築をサポートするのに十分クリアでなければならない。 本研究の目的は,出版物が複製,メタアナリシス,理論構築をサポートする情報を含むか否かを特定することで,CER文学における経験主義の報告を特徴付けることである。 RQ1) CER会場の論文のどの割合に経験的評価があるか。 RQ2) 経験的評価の特徴は何か。 rq3) 経験的評価を持つ論文は報告基準(包含とキー情報のラベル付けの両方)に従うか? 2014年と2015年に、SIGCSE TS, ICER, ITiCSE, TOCE, CSEの5つの会場で427の論文を発表した。 我々はcerempiricism assessment rubricを開発し,応用した。 80%以上の論文がある種の経験的評価をしていた。 定量的評価手法が最も多かった。 最も頻繁に報告されている論文は教育技術、カリキュラム、コミュニティ、ツールに関する介入に関するものである。 介入と他のデータセットやベースラインとを何らかの形で比較した論文の分割があった。 多くの論文は、適切に報告された研究目標、目標、研究質問、仮説、参加者の説明、研究設計、データ収集、妥当性への脅威を欠いていた。 CERの著者は文献に経験的な結果をもたらしているが、報告の規範がすべて満たされているわけではない。 著者には、その作業に関する明確なラベル付き詳細を提供して、読者がレプリケーションやメタ分析に方法論と結果を使用することを推奨します。 コミュニティが成長するにつれて、CERの報告は成熟して、次世代のコンピューティング学習者を支援するためのコンピューティング教育理論の確立に役立ちます。

関連論文リスト

• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Chain-of-Factors Paper-Reviewer Matching [32.86512592730291]
  本稿では,意味的・話題的・引用的要因を協調的に考慮した,論文レビューアマッチングのための統一モデルを提案する。 提案したChain-of-Factorsモデルの有効性を,最先端のペーパー-リビューアマッチング手法と科学的事前学習言語モデルと比較した。
  論文  参考訳（メタデータ） (2023-10-23T01:29:18Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
  本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。 ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。 実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-24T02:33:35Z)
• Artificial intelligence technologies to support research assessment: A review [10.203602318836444]
  この文献レビューは、記事のテキストから、より高いインパクトやより高い品質の研究に関連する指標を特定する。 論文やカンファレンス論文の引用数や品質スコアを予測するために機械学習技術を使用した研究が含まれている。
  論文  参考訳（メタデータ） (2022-12-11T06:58:39Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Best Practices and Scoring System on Reviewing A.I. based Medical Imaging Papers: Part 1 Classification [0.9428556282541211]
  SIIMの機械学習教育サブミッションは、これらの研究をレビューするためのガイドラインを確立するための知識ギャップと深刻な必要性を特定している。 このシリーズの最初のエントリは、画像分類のタスクに焦点を当てている。 このシリーズの目的は、A.I.をベースとした医療画像のレビュープロセスを改善するためのリソースを提供することである。
  論文  参考訳（メタデータ） (2022-02-03T21:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。