論文の概要: A Unified Framework to Elicit Structured Feedback for Interpretable Multi-Trait Essay Scoring
- arxiv url: http://arxiv.org/abs/2608.28407v1
- Date: Fri, 28 Aug 2026 14:57:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.373923
- Title: A Unified Framework to Elicit Structured Feedback for Interpretable Multi-Trait Essay Scoring
- Title（参考訳）: 解釈可能なマルチトライト・エッセイ・スコーリングのための構造的フィードバックを緩和する統一フレームワーク
- Abstract要約: AES(Multi-trait Automated Essay Scoring)は、独立したスコア予測ではなく、相互に依存する特性に対するルーリックな推論を必要とする。
本稿では,階層的なCoTフィードバックを生成する統合自己回帰フレームワークHiFTSを提案する。
CFMS-34とASAP++の実験により、HiFTSはコヒーレントでルーリックなフィードバックを生成しながら、強大な総合的および特性レベルのスコアを得られることが示された。
- 参考スコア（独自算出の注目度）: 11.219417857914635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-trait Automated Essay Scoring (AES) requires rubric-grounded reasoning across interdependent traits, rather than isolated score prediction. Existing feedback-enhanced methods often decouple feedback from scoring or assess traits independently, weakening score--feedback consistency and rubric alignment. We propose HiFTS, a unified autoregressive framework that generates hierarchical CoT feedback before predicting trait-level and holistic scores. HiFTS distills rubric-grounded hierarchical CoT feedback from a teacher LLM and trains student models to jointly generate feedback and scores. HiFTS further applies Group Relative Policy Optimization with a composite reward balancing score agreement, calibration, feedback quality, and structural validity. At inference, a lightweight global prior provides holistic guidance to reduce drift during long-form reasoning. We also introduce CFMS-34, a Chinese multi-trait AES dataset with 951 essays annotated with holistic scores and 34 rubric-based traits. Experiments on CFMS-34 and ASAP++ show that HiFTS achieves strong holistic and trait-level scoring while producing coherent, rubric-aligned feedback.
- Abstract（参考訳）: AES(Multi-trait Automated Essay Scoring)は、独立したスコア予測ではなく、相互に依存する特性に対するルーリックな推論を必要とする。
既存のフィードバック強化手法は、しばしばフィードバックを個々の特性の評価や評価から切り離し、スコアの一貫性を弱めます。
本稿では,階層的なCoTフィードバックを生成する統合自己回帰フレームワークHiFTSを提案する。
HiFTSは、教師のLLMからのルーリックグラウンドの階層的なCoTフィードバックを蒸留し、学生モデルにフィードバックとスコアを共同で生成するように訓練する。
HiFTSはさらに、複合報酬バランススコア合意、校正、フィードバック品質、構造的妥当性を備えたグループ相対政策最適化を適用している。
推論において、軽量なグローバル事前は、長期的推論におけるドリフトを減らすための全体的なガイダンスを提供する。
CFMS-34は中国の多言語AESデータセットであり,951のエッセイに総論的なスコアと34のルーリックな特徴を付加したエッセイである。
CFMS-34とASAP++の実験により、HiFTSはコヒーレントでルーリックなフィードバックを生成しながら、強大な総合的および特性レベルのスコアを得られることが示された。
関連論文リスト
- V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。
本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。
我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
論文 参考訳（メタデータ） (2026-08-26T09:40:46Z) - Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards [6.002323709229882]
大規模言語モデル(LLM)は、自動エッセイスコア(AES)と自動フィードバック生成(AFG)に広く応用されている。
RLによるエッセイ評価とフィードバック生成を協調的に最適化する統一LLMフレームワークであるRLAESを提案する。
フィードバック品質を計測し、解釈し、トレーニングに役立てるために、RLに基づくフィードバック評価(RFE)を導入する。
論文 参考訳（メタデータ） (2026-07-21T15:49:02Z) - PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback [13.817126458402017]
PsyScoreは心理計測学的に認識されるフレームワークで、診断アセスメントと教育的な足場を共有潜在能力表現を通じて統合する。
ASAP++データセットの実験では、PsyScoreは、より教育的に整合したフィードバックを提供しながら、競争的なスコアリングのパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-06-18T14:29:13Z) - Trait-Aware Policy Optimization for Autoregressive Multi-Trait Essay Scoring [27.596544379317436]
Trait-Aware Policy Optimization (TAPO)は、自動回帰型マルチトレーディングスコアリングに適したポストトレーニングフレームワークである。
提案手法は,グローバルスコアリングの整合性,特性レベルの精度,フォーマットの妥当性,トランジット間の依存性の保存を組み合わせ,サンプルと特性の両面から報酬を分解する。
論文 参考訳（メタデータ） (2026-05-25T11:41:37Z) - Designing Reliable LLM-Assisted Rubric Scoring for Constructed Responses: Evidence from Physics Exams [1.6955250288861923]
STEMアセスメントにおける学生の反応は手書きで、記号表現、計算、図表を組み合わせたものが多い。
大規模言語モデル(LLM)の最近の進歩は、AIによるスコアリングに注意を向けている。
本研究は, GPT-4o を用いた学部理科構築応答のAI支援スコアリングの信頼性について検討した。
論文 参考訳（メタデータ） (2026-04-14T03:04:44Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - MAGIC: Multi-Agent Argumentation and Grammar Integrated Critiquer [4.262223700066747]
マルチエージェント論と文法統合批評(MAGIC)
フレームワークは、複数の特殊エージェントを使用して、異なる書き込みの側面を評価し、総合的なスコアを予測し、詳細でルーリックなフィードバックを生成する。
論文 参考訳（メタデータ） (2025-06-16T02:02:46Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z) - AIR: A Systematic Analysis of Annotations, Instructions, and Response Pairs in Preference Dataset [89.37514696019484]
嗜好学習は、大きな言語モデルと人間の価値の整合に不可欠である。
私たちの作業は、好みのデータセット設計をアドホックなスケーリングからコンポーネント対応の最適化にシフトします。
論文 参考訳（メタデータ） (2025-04-04T17:33:07Z) - RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。
制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。
提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
論文 参考訳（メタデータ） (2024-02-16T18:50:24Z) - Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。
我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。
このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
論文 参考訳（メタデータ） (2023-10-10T09:20:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。