論文の概要: From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
- arxiv url: http://arxiv.org/abs/2609.27939v1
- Date: Sun, 23 Aug 2026 23:52:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.016536
- Title: From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
- Title（参考訳）: 感性分類から行動可能・責任フィードバックへ:授業評価におけるNLPのスコープレビューとエビデンスマップ,2015-2026
- Abstract要約: This scoping review (PRISMA-ScR) map 421 studies along a technical axis (RQ1) and four value dimensions (RQ2-RQ5)
この発見は記述的であり、進展の因果的主張を支持していない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language processing (NLP) applied to open-ended teaching-evaluation comments (Student Evaluation of Teaching, SET) has tracked the field's technical evolution--from lexicons and conventional classifiers to transformers and large language models (LLMs)--but it is not evident that this technical diversification has been accompanied by corresponding gains in educational value and robustness of the evidence. This scoping review (PRISMA-ScR) maps 421 studies (2015-2026, 2026 partial) along a technical axis (RQ1) and four value dimensions (RQ2-RQ5). Dual mutually blinded LLM screening with sampled human adjudication coded seven extraction domains, with targeted codebook-boundary review at synthesis. The joint map's sharpest quantified gap is the actionability discontinuity: demonstrated output or stronger (A2+: 258/421; 61.3%) versus intended-user evaluation or stronger (A3+: 49/421; 11.6%), a 49.7 percentage-point drop. Sentiment analysis remains the modal task (300/421); diagnostic and generative depth is a substantial minority (D4-D5: 28.2% of resolved cases); a formal fairness metric is rare (1.9%). The findings are descriptive and do not support causal claims of progress: technological coexistence and uneven reporting are part of the map, but the A2+ to A3+ cliff is the contribution, not a quality ladder.
- Abstract（参考訳）: 自然言語処理 (NLP) は、オープンエンドの教育評価コメント (Student Evaluation of teaching, SET) に適用され、レキシコンや従来の分類器からトランスフォーマーや大規模言語モデル (LLM) まで、この分野の技術的進化を追跡してきた。
このスコーピングレビュー(PRISMA-ScR)は、技術軸(RQ1)と4つの値次元(RQ2-RQ5)に沿って、421の研究(2015-2026, 2026)をマッピングする。
二重盲検LLM検定法は7つの抽出領域をコードし, 目的のコードブック境界を合成時に検討した。
出力または強い(A2+: 258/421; 61.3%) 意図されたユーザ評価または強い(A3+: 49/421; 11.6%) 49.7ポイントの低下。
感度分析は依然としてモーダルタスク(300/421)であり、診断と生成の深さは実質的なマイノリティ(D4-D5:28.2%)であり、形式的公正度測定は稀(1.9%)である。
技術的共存と不均一な報告は地図の一部だが、A2+からA3+の崖は質の高いはしごではなく貢献である。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - From Isolated Tasks to Structured Capabilities: A Multilayer Taxonomy for Large Language Models [41.36461541603076]
大規模言語モデル(LLM)の評価は多様なタスクとベンチマークにまたがる。
証拠は、調査する能力よりも、タスクを中心に組織化されている。
14の能力ドメインと91のサブスキルからなる多層分類を導入した。
論文 参考訳（メタデータ） (2026-07-24T10:49:50Z) - SemEval-2026 Task 3: Dimensional Aspect-Based Sentiment Analysis (DimABSA) [86.42477627274019]
次元アスペクトベース感性分析(DimABSA)におけるSemEval-2026共有タスクについて述べる。
DimABSAは、カテゴリの極性ラベルを使用するのではなく、VA次元に沿って感情をモデル化することで、従来のABSAを改善している。
ABSAを一般消費者のレビューから公開談話まで拡張するために,DimStance Analysis(DimStance)という新たなタスクを導入する。
DimStanceはスタンスターゲットをアスペクトとして扱い、姿勢検出をVA空間の回帰として再構成する。
論文 参考訳（メタデータ） (2026-04-08T13:15:48Z) - Task Complexity Matters: An Empirical Study of Reasoning in LLMs for Sentiment Analysis [2.1036545320600095]
推論能力を持つ大規模言語モデル(LLM)は、推論が言語タスク全体のパフォーマンスを普遍的に改善する、という魅力的な物語を生み出している。
7つのモデルファミリーにまたがる504構成を包括的に評価することで,この主張を検証した。
その結果, 推論の有効性は, タスク依存的であり, 課題の多い仮定であることが明らかとなった。
論文 参考訳（メタデータ） (2026-02-27T14:49:05Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - Evaluating Large Language Models on the 2026 Korean CSAT Mathematics Exam: Measuring Mathematical Ability in a Zero-Data-Leakage Setting [5.313647446600863]
本研究は,2026年の韓国・カレッジ・スコラスティック能力テスト(CSAT)を用いた大規模言語モデル(LLM)の数学的推論能力について,体系的に評価した。
既存のベンチマークにおけるデータ漏洩問題に対処するため、試験公開から2時間以内に46の質問(22件、24件)をすべてデジタル化した。
論文 参考訳（メタデータ） (2025-11-23T23:09:33Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Text Classification via Large Language Models [63.1874290788797]
テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。
注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。
さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
論文 参考訳（メタデータ） (2023-05-15T06:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。