Fugu-MT 論文翻訳(概要): Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness

論文の概要: Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness

arxiv url: http://arxiv.org/abs/2601.08843v1
Date: Sun, 21 Dec 2025 05:22:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-25 16:54:51.666765
Title: Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness
Title（参考訳）: ルブリック系LCMグレーディング:アライメント,不確かさ,ロバスト性
Authors: Haotian Deng, Chris Farber, Jiyoon Lee, David Tang,
Abstract要約: ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
参考スコア（独自算出の注目度）: 4.129847064263056
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Automated short-answer grading (ASAG) remains a challenging task due to the linguistic variability of student responses and the need for nuanced, rubric-aligned partial credit. While Large Language Models (LLMs) offer a promising solution, their reliability as automated judges in rubric-based settings requires rigorous assessment. In this paper, we systematically evaluate the performance of LLM-judges for rubric-based short-answer grading. We investigate three key aspects: the alignment of LLM grading with expert judgment across varying rubric complexities, the trade-off between uncertainty and accuracy facilitated by a consensus-based deferral mechanism, and the model's robustness under random input perturbations and adversarial attacks. Using the SciEntsBank benchmark and Qwen 2.5-72B, we find that alignment is strong for binary tasks but degrades with increased rubric granularity. Our "Trust Curve" analysis demonstrates a clear trade-off where filtering low-confidence predictions improves accuracy on the remaining subset. Additionally, robustness experiments reveal that while the model is resilient to prompt injection, it is sensitive to synonym substitutions. Our work provides critical insights into the capabilities and limitations of rubric-conditioned LLM judges, highlighting the importance of uncertainty estimation and robustness testing for reliable deployment.
Abstract（参考訳）: 学生の反応の言語的変動と、ニュアンス付きルーリックな部分クレジットの必要性により、自動短解答格付け (ASAG) は依然として困難な課題である。 Large Language Models (LLMs) は有望なソリューションを提供するが、ルリックベースの設定における自動判断者としての信頼性は厳格な評価を必要とする。本稿では,LLM-judges の性能評価を行った。 3つの重要な側面を考察する: LLMグレーティングのアライメントと様々なルービックな複雑さに対する専門家の判断のアライメント、コンセンサスに基づく推論機構によって促進される不確実性と精度のトレードオフ、ランダムな入力摂動と敵攻撃によるモデルのロバスト性。 SciEntsBankベンチマークとQwen 2.5-72Bを用いて、バイナリタスクにはアライメントが強いが、粗い粒度が増大すると劣化することがわかった。我々の「トラスト曲線」解析は、低信頼度予測をフィルタリングすることで残りのサブセットの精度が向上する明確なトレードオフを示す。さらに、ロバストネスの実験では、モデルが即発注入に対して弾力性がある一方で、同義置換に敏感であることが示されている。我々の研究は、信頼性の高いデプロイメントにおける不確実性評価とロバストネステストの重要性を強調し、ルリック条件付きLLM裁判官の能力と限界に関する重要な洞察を提供する。

関連論文リスト

On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文参考訳（メタデータ） (2026-02-14T01:07:45Z)
Uncertainty and Fairness Awareness in LLM-Based Recommendation Systems [3.937681476010311]
本稿では,不確実性と公平性の評価が大規模言語モデル(LLM)の精度,一貫性,信頼性に与える影響について検討する。我々は(エントロピーを通じて)予測の不確実性を定量化し、Google DeepMindのGemini 1.5 Flashが特定の機密属性に対して体系的に不確実性を示すことを示した。本稿では,RecLLMに対する新たな不確実性評価手法を提案する。
論文参考訳（メタデータ） (2026-01-31T17:18:13Z)
A Comprehensive Evaluation of LLM Reasoning: From Single-Model to Multi-Agent Paradigms [20.241519889633285]
大規模言語モデル(LLM)は、推論パラダイムが重要な役割を果たす推論システムとして、ますます多くデプロイされている。我々は、直接単モデル生成、CoT拡張単モデル推論、代表MASなど、推論パラダイムを包括的かつ統一的に評価する。 MIMeBenchは、2つの基本的な未探索セマンティック機能をターゲットにした新しいオープンエンドベンチマークである。
論文参考訳（メタデータ） (2026-01-19T17:23:45Z)
Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
論文参考訳（メタデータ） (2026-01-12T23:16:50Z)
Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency [78.91846841708586]
完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
論文参考訳（メタデータ） (2026-01-09T16:23:21Z)
Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。 FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文参考訳（メタデータ） (2026-01-06T02:51:56Z)
Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。本稿では,確率的確実性と一貫性(PCC)について紹介する。
論文参考訳（メタデータ） (2026-01-05T21:57:41Z)
MARBLE: A Multi-Agent Rule-Based LLM Reasoning Engine for Accident Severity Prediction [1.3102025155414727]
交通安全システムにおいて,事故重大度予測が重要な役割を担っている。既存の方法はしばしばモノリシックモデルやブラックボックスプロンプトに依存している。本稿では,多エージェントルールに基づくLLMエンジンを提案し,その重大性予測タスクを,専門的推論エージェントのチーム間で分解する。
論文参考訳（メタデータ） (2025-07-07T11:27:49Z)
Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文参考訳（メタデータ） (2025-04-21T04:56:47Z)
Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文参考訳（メタデータ） (2025-03-04T03:16:02Z)
PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
大きな言語モデル(LLM)は予測不能に失敗することが多い。これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
論文参考訳（メタデータ） (2025-02-20T10:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。