論文の概要: AI-Enabled Quality Assurance for Multiple-Choice Assessment Items

• arxiv url: http://arxiv.org/abs/2610.04267v1
• Date: Sat, 03 Oct 2026 03:45:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 12:03:01.442712
• Title: AI-Enabled Quality Assurance for Multiple-Choice Assessment Items
• Title（参考訳）: マルチコース評価項目のAIによる品質保証
• Abstract要約: 自動項目書き起こし欠陥検出,リビジョン,サイコメトリックスクリーニング,NLPベンチマーク監査について検討した。 表面検査と内容感性判定とを区別し,19基準のルーブリックを検出方法と報告された証拠にマッピングする。 本稿では,品質保証を個別に検証された意思決定のシーケンスとして評価することを提案する。
• 参考スコア（独自算出の注目度）: 1.4323566945483497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating multiple-choice questions is increasingly scalable, but establishing their assessment quality remains difficult. We present a focused narrative review of automated item-writing flaw detection, revision, psychometric screening, and NLP benchmark auditing. Database searches, citation retrieval, and nominated sources yield fourteen research reports reviewed in full text. We distinguish surface checks from content-sensitive judgments and map a 19-criterion rubric to detection methods and reported evidence. High label-level accuracy often coexists with weak positive case detection, while rubric definitions and reference standards vary. Revision evidence is mixed, and the associations reported in prior work do not establish the effects of repair. We propose evaluating quality assurance as a sequence of independently validated decisions, with criterion-specific reporting, calibrated human review, and outcome-based assessment of revisions.
• Abstract（参考訳）: 複数項目の質問の生成はますますスケーラブルになるが、評価品質の確立は依然として困難である。 本稿では,自動項目書き起こし欠陥検出,リビジョン,サイコメトリックスクリーニング,NLPベンチマーク監査について概説する。 データベース検索、引用検索、および推薦されたソースは、全文でレビューされた14の研究レポートを生成する。 表面検査と内容感性判定とを区別し,19基準のルーブリックを検出方法と報告された証拠にマッピングする。 ラベルレベルの精度は、しばしば弱い正のケース検出と共存するが、ルーブリック定義と参照基準は異なる。 改定証拠は混在しており、先行研究で報告された協会は修復の効果を確定していない。 本稿では,品質保証を個別に検証された意思決定のシーケンスとして評価することを提案する。

関連論文リスト

• Testing and Verification of Quantum Compilers through Assurance Contracts and Evidence [0.25489046505746704]
  この調査は、検証済みの変換、等価チェック、差分および変成テスト、プロパティベースのテスト、およびリビジョン間の保証の証拠を比較します。 記録されたカバレッジ更新とソースレベルの選択決定は、レビューを宣言されたスコープ内で監査可能にする。
  論文  参考訳（メタデータ） (2026-09-24T01:24:49Z)
• Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation [1.2691047660244335]
  テストされた構成を開示し、質問を検証し、タスク完了を成功させ、コストと実行時間とともにパフォーマンスを報告し、一般化の範囲を明確にする評価手順について論じます。 大きな質問プールはタスクカバレッジを改善し、繰り返しサンプリングは、そのプールにおける見積もりの安定性を改善する。 その中心的な主張は、モデル選択は、単に一般的なリーダーボード上の高い位置ではなく、意図した作業におけるパフォーマンスに関する証拠を必要とすることである。
  論文  参考訳（メタデータ） (2026-09-19T20:02:05Z)
• Towards Query-Agnostic RAG Evaluation via Query Coverage and Claim Verifiability [29.6470498810458]
  本稿では,Q-CAREを提案する。Q-CAREはクエリに依存しない,完全な参照のないフレームワークで,詳細な評価を行う。 Q-CAREはクエリをサブクエリに分解し、回答をアトミックなクレームに分解する。 人間の注釈付きベンチマークでは、Q-CAREは既存の4つのRAG評価指標よりも、人間の判断と高い相関を達成している。
  論文  参考訳（メタデータ） (2026-07-31T09:21:43Z)
• Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks [2.4035041353107673]
  我々はAIスキャナーを開発し、真実へのアクセス、ツールの故障、脆弱性の推測、回答フォーマットのあいまいさの4つの種類の妥当性問題を検出する。 我々のスキャナーは5つの広く使用されているベンチマークにおいて、ランダムな手動検査で捉えられないケースを含む、いくつかの検証された品質問題を特定した。
  論文  参考訳（メタデータ） (2026-07-29T23:17:08Z)
• What Makes a Good AI Review? Concern-Level Diagnostics for AI Peer Review [6.59569431190247]
  本稿では,AIレビューを判断レベルでのみ評価するのではなく,関心レベルで評価する診断フレームワークを提案する。 本稿では,二項精度から問題検出,判定・階層化動作,判断・認識の校正,帰属・認識の分解に移行した評価ラグを導出する。
  論文  参考訳（メタデータ） (2026-04-21T21:16:59Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
  本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。 本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
  論文  参考訳（メタデータ） (2026-01-07T04:26:12Z)
• DEER: A Comprehensive and Reliable Benchmark for Deep-Research Expert Reports [49.217247659479476]
  ディープリサーチシステムは、多段階の推論とエビデンスベースの合成を通じて専門家レベルのレポートを生成することができる。 既存のベンチマークは、エキスパートレポートの体系的な基準を欠いていることが多い。 専門家レベルのディープリサーチレポートを評価するためのベンチマークであるDEERを紹介する。
  論文  参考訳（メタデータ） (2025-12-19T16:46:20Z)
• Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation [58.54483567073125]
  本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。 このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
  論文  参考訳（メタデータ） (2022-11-17T10:54:28Z)
• Uncertainty-aware Score Distribution Learning for Action Quality Assessment [91.05846506274881]
  行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。 具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。 微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
  論文  参考訳（メタデータ） (2020-06-13T15:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。