論文の概要: Automatic Reflection Level Classification in Hungarian Student Essays

• arxiv url: http://arxiv.org/abs/2605.02402v1
• Date: Mon, 04 May 2026 09:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.225983
• Title: Automatic Reflection Level Classification in Hungarian Student Essays
• Title（参考訳）: ハンガリー学生評価における反射レベルの自動分類
• Authors: Zsolt Csibi, Mónika Sándor, Mónika Serfőző, Kinga Gyöngy, Kristian Fenech,
• Abstract要約: ハンガリーの学生エッセイにおける自動反射レベル分類の総合的研究について紹介する。 我々は、複数の学年で収集された1,954の反射的エッセイからなる、専門家によるハンガリーの大規模なデータセットを使用している。 TF-IDFとセマンティック埋め込み機能を用いた古典的機械学習モデルと、文書レベルのリフレクション分類のために微調整されたハンガリー固有のトランスフォーマーモデルである。
• 参考スコア（独自算出の注目度）: 0.3262230127283452
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reflective thinking is a key competency in education, but assessing reflective writing remains a time-consuming and subjective task for education experts. While automated reflective analysis has been explored in several languages, Hungarian language was not researched extensively. In this paper, we present the first comprehensive study on automatic reflection level classification in Hungarian student essays. We used a large, expert-annotated Hungarian dataset consisting of 1,954 reflective essays collected over multiple academic years and labeled on a four-level reflection scale. We investigate two approaches: (1) classical machine learning models using TF-IDF and semantic embedding features, and (2) Hungarian-specific transformer models fine-tuned for document-level reflection classification. To address the strong class imbalance in the dataset, we systematically examine class weighting, oversampling, data augmentation, and alternative loss functions. An extensive ablation study is conducted to analyze the contribution of each modeling and balancing strategy. Our results show that shallow machine learning models with appropriate feature engineering achieve strong overall performance, reaching up to 71% overall score averaged over accuracy, F1-score, and ROC AUC metrics, while transformer-based models achieve slightly lower overall score (68%) averaged over the same metrics, but demonstrate better generalization on minority reflection classes. These findings highlight the continued relevance of classical methods for low-resource settings and the robustness of transformer models for imbalanced classification. The proposed dataset and experimental insights provide a solid foundation for future research on automated reflective analysis in Hungarian and other morphologically rich languages.
• Abstract（参考訳）: リフレクティブ・シンキングは教育において重要な能力であるが、リフレクティブ・ライティングを評価することは教育専門家にとって時間を要する主観的な課題である。 自動反射分析はいくつかの言語で研究されているが、ハンガリー語は広く研究されていない。 本稿では,ハンガリーの学生エッセイにおける自動反射レベル分類の総合的研究について紹介する。 我々は、複数の学年で収集された1,954個のリフレクティブエッセイからなり、4段階のリフレクティブスケールでラベル付けされたハンガリーの大規模な専門家による注釈付きデータセットを使用した。 本研究では,(1)TF-IDFとセマンティック埋め込み機能を用いた古典的機械学習モデル,(2)文書レベルのリフレクション分類のためのハンガリー固有のトランスフォーマーモデルについて検討する。 データセットの強いクラス不均衡に対処するため、クラス重み付け、オーバーサンプリング、データ強化、代替損失関数を体系的に検討する。 各モデリングおよびバランス戦略の寄与を分析するために,広範囲にわたるアブレーション研究を行った。 この結果から, 浅層機械学習モデルでは, 精度よりも平均71%, F1スコア, ROCAUCのスコアを達成でき, トランスフォーマーベースモデルでは, 平均68%のスコアを達成できたが, マイノリフレクションクラスでの一般化は良好であった。 これらの結果は、低リソース設定における古典的手法の継続的な妥当性と、不均衡分類のための変圧器モデルのロバスト性を強調した。 提案されたデータセットと実験的な洞察は、ハンガリー語や他の形態学的に豊かな言語における自動反射分析に関する将来の研究の基盤となる。

関連論文リスト

• A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2 [0.0]
  本研究では,いくつかの最先端の大規模言語モデル (LLM) の包括的評価を行う。 この評価には、チェーン・オブ・ソート・プロンプト、即興の言い直し、投票、確実性に基づく分類など、先進的なプロンプト戦略が組み込まれている。 最適性能モデル(GPT-5.2)は78.0%(UKP)と91.9%(Args.me)の分類精度を達成する。
  論文  参考訳（メタデータ） (2026-02-25T11:17:24Z)
• Comparison of Machine Learning Models to Classify Documents on Digital Development [0.0]
  本研究は,12分野に分類される世界規模のデジタル開発介入に関する文書データベースを公開している。 この研究は、データ量がパフォーマンスに影響を与える唯一の要因ではないと結論付け、クラス間の類似性やクラス間の相違性といった特徴も重要であると結論付けている。
  論文  参考訳（メタデータ） (2025-10-01T09:53:28Z)
• Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
  我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。 モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。 多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:05:10Z)
• Large Language Models For Text Classification: Case Study And Comprehensive Review [0.3428444467046467]
  各種言語モデル(LLM)の性能を,最先端のディープラーニングモデルや機械学習モデルと比較して評価する。 本研究は,提案手法に基づくモデル応答の有意な変動を明らかにした。
  論文  参考訳（メタデータ） (2025-01-14T22:02:38Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Automated Speech Scoring System Under The Lens: Evaluating and interpreting the linguistic cues for language proficiency [26.70127591966917]
  従来の機械学習モデルを用いて、音声認識タスクを分類と回帰問題の両方として定式化する。 まず,5つのカテゴリー(頻度,発音,内容,文法,語彙,音響)で言語学の特徴を抽出し,応答を学習する。 比較すると,回帰に基づくモデルでは,分類法と同等かそれ以上の性能があることがわかった。
  論文  参考訳（メタデータ） (2021-11-30T06:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。