論文の概要: ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation

• arxiv url: http://arxiv.org/abs/2608.17356v1
• Date: Tue, 18 Aug 2026 04:23:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.217893
• Title: ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
• Title（参考訳）: ArguLens: 自動評価とラベル認識フィードバック生成のためのオープンソースシステム
• Abstract要約: ArguLensは、自動エッセイスコア(AES)を3つの分離されたコンポーネントに分解するオープンソースシステムである。 ラベル対応フィードバックジェネレータは、Qwen2.5-14BInstructバックボーンでvLLMを介して機能する。 Gradio Web UIはプラグイン可能な推論バックエンドを公開し、単一評価とバッチスコアをサポートする。
• 参考スコア（独自算出の注目度）: 9.677955445684686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most automated essay scoring (AES) systems output a single holistic score without interpretable evidence and rely on closed APIs that introduce data privacy and cost barriers. We present ArguLens, an opensource, locally deployable system that decomposes AES into three decoupled components: a discourse-move classifier (Qwen2.5-7B-Instruct fine-tuned with LoRA on PERSUADE 2.0), a grade-independent LightGBM scorer over 31 linguistic and discourse features, and a label-aware feedback generator served through vLLM with a Qwen2.5-14BInstruct backbone. A Gradio web UI exposes pluggable inference backends and supports single-essay and batch scoring with downloadable per-essay breakdowns. On an essaydisjoint PERSUADE 2.0 test split, the logitprobe classifier achieves 82.6% accuracy and 0.727 macro-F1; under prompt-grouped 5-fold cross-validation the scorer reaches a mean QWK of 0.813 under an oracle discoursefeature protocol, and an ablation shows that adding gold discourse annotations yields an increment of +0.055 QWK over the lexical+syntactic configuration (paired t-test, p = 0.010). This is a component-level diagnostic rather than an end-to-end classifier-to-scorer result. The feedback generator ships with a structured evaluation protocol; its human-rater study is left to future work. The system is released under Apache 2.0 at https://github.com/wwrwbs/AI_AWE.
• Abstract（参考訳）: ほとんどの自動エッセイスコア(AES)システムは、証拠を解釈せずに単一の総合的なスコアを出力し、データプライバシとコスト障壁を導入するクローズドAPIに依存している。 本稿では、AESを3つの分離されたコンポーネントに分解する、オープンソースでローカルにデプロイ可能なシステムArguLensについて紹介する。 談話-移動分類器(Qwen2.5-7B-Instruct fine-tuned with LoRA on PERSUADE 2.0)、言語・談話機能31以上のグレード非依存LightGBMスコアラ、Qwen2.5-14Bバックボーン付きvLLMを介してラベル対応フィードバックジェネレータ。 GradioのWeb UIは、プラグイン可能な推論バックエンドを公開し、シングルエッセイとバッチスコアをサポートし、ダウンロード可能な1エッセイのブレークダウンをサポートする。 エッセイ非結合のPERSUADE 2.0テスト分割では、ロジトプロブ分類器は82.6%の精度と0.727のマクロ-F1を達成し、即時グループ化された5倍のクロスバリデーションでは、スコアラはオラクルの談合プロトコルの下で0.813の平均QWKに達し、アブレーションにより、レキシカル+シアンタクティック構成(ペアドt-test, p = 0.010)に対して金の談話アノテーションを追加すると+0.055QWKの増分が得られる。 これはエンドツーエンドの分類器からスカラーの結果ではなく、コンポーネントレベルの診断である。 フィードバックジェネレータは構造化された評価プロトコルと共に出荷される。 このシステムはApache 2.0の下でhttps://github.com/wwrwbs/AI_AWE.comでリリースされている。

関連論文リスト

• Staged Linguistic Seeding: Grounded Query Expansion for Verified-Unit QA in AI Contact Centers [1.1983198417783958]
  検証済みQAユニットのクローズドなセットからのみ回答するシステムをデプロイする。 1つの手法は両方のドメインで再利用されるため、推論はクエリ時間生成なしで1つの検索パスにとどまる。 陰性な結果を含む応用研究として報告する。
  論文  参考訳（メタデータ） (2026-09-01T07:42:39Z)
• Auditing Generalization in AI-Generated Video Detection: A Six-Control Protocol and the VidAudit Toolkit [8.665845754660458]
  AI生成ビデオ検出のGenVidBenchとAIGVDBenchが事実上のリーダーボードだ。 ほとんどの評価プロトコルは、報告された一般化を拡大できる制御されていない欠点を残している。 20紙の調査では、これをキャッチする標準的な6つのコントロールをすべて適用していない。 それらを監査プロトコルに組み合わせて、6つの代表的な特徴源に適用する。
  論文  参考訳（メタデータ） (2026-06-30T00:29:53Z)
• Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
  我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。 教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。 これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
  論文  参考訳（メタデータ） (2026-06-21T16:27:24Z)
• Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
  大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。 ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。 提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
  論文  参考訳（メタデータ） (2026-06-14T16:13:15Z)
• Beyond Pattern Matching: Seven Cross-Domain Techniques for Prompt Injection Detection [0.0]
  本研究は,大言語以外の分野から特定のメカニズムを移植する7つの検出手法を提案する。 7つのテクニックのうち3つは、プロンプトシールドv0.4.1リリース(Apache 2.0)で実装され、6つのデータセットにわたる4つの設定アブレーションで評価されている。
  論文  参考訳（メタデータ） (2026-04-20T13:27:05Z)
• SWE-PRBench: Benchmarking AI Code Review Quality Against Pull Request Feedback [2.626039639665796]
  SWE-PRBenchは、AIコードレビューの品質を評価するための、人間による注釈付き根拠真理による350のプルリクエストのベンチマークである。 8つのフロンティアモデルでは、差分のみの設定で人間のフラッグされた問題の15～31%しか検出できない。
  論文  参考訳（メタデータ） (2026-03-27T07:24:26Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Reproducible Machine Learning-based Voice Pathology Detection: Introducing the Pitch Difference Feature [1.7779568951268254]
  本稿では,現在公開されているSaarbr"ucken Voice Databaseを用いた音声病理診断手法を提案する。 機械学習(ML)アルゴリズムを6つ評価する - サポートベクターマシン、kネアレスト隣人、ナイーブベイズ、決定木、ランダムフォレスト、AdaBoost。 アプローチは, 女性, 男性, 合計で85.61%, 84.69%, および85.22%であった。
  論文  参考訳（メタデータ） (2024-10-14T14:17:52Z)
• Exploring SSL Discrete Speech Features for Zipformer-based Contextual ASR [74.38242498079627]
  自己教師付き学習(SSL)に基づく離散音声表現は、非常にコンパクトで、ドメイン適応性が高い。 本稿では、Zipformer-Transducer ASRシステムにおいて、WavLMモデルから抽出したSSL離散音声特徴を追加の発話音響コンテキスト特徴として用いた。
  論文  参考訳（メタデータ） (2024-09-13T13:01:09Z)
• Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
  本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。 入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
  論文  参考訳（メタデータ） (2021-09-12T19:33:34Z)
• PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification [53.764020085834645]
  教師アンサンブル(PATE)のプライベートアグリゲーションにおけるGAN(Generative Adversarial Network)の代替として,AAE(Adversarial Autoencoder)を提案する。 AAEアーキテクチャにより、潜伏ベクトルの識別訓練により、優れた合成音声ネイティブが得られる。 PATE-AAEは、代替プライバシー保護ソリューションと比較して、平均分類精度をそれぞれ+$2.11%$と+$6.60%$改善します。
  論文  参考訳（メタデータ） (2021-04-02T23:10:57Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。