論文の概要: Mubric: Mutation Testing-Guided Rubric Generation for LLM Evaluation

• arxiv url: http://arxiv.org/abs/2609.37322v1
• Date: Tue, 29 Sep 2026 12:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.454655
• Title: Mubric: Mutation Testing-Guided Rubric Generation for LLM Evaluation
• Title（参考訳）: Mubric: LLM評価のための変異試験ガイドルブリック生成
• Abstract要約: Mubric はルーブリック生成に対する突然変異試験誘導のアプローチである。 ムブリックの総合評価精度は最高であり、ベースラインの7.48ポイントを上回っている。
• 参考スコア（独自算出の注目度）: 15.964595670716115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubric-based evaluation is widely used to assess LLM-based systems by decomposing response quality into task-specific scoring criteria. However, automatically generating rubrics that reliably capture task-specific quality requirements remains challenging. We introduce Mubric, a mutation testing-guided approach to rubric generation. Mutation testing, a classic software testing methodology, evaluates a test suite by injecting faults into programs and checking whether the tests detect them. We draw an analogy between test suites and rubrics: if a rubric captures an important quality requirement, introducing a corresponding defect into an otherwise high-quality response should reduce its score. Mubric first mines common defects from real pairs of preferred and dispreferred responses and abstracts these defects into reusable mutation operators, each specifying how to introduce a particular type of response defect. For a new task, it applies relevant operators to a reference response, checks whether the injected defects reduce response quality, and uses insufficiently penalized defects to refine the rubric. We evaluate Mubric on 703 tasks across four representative domains against six advanced rubric generation methods. Mubric achieves the highest overall evaluation accuracy, outperforming the strongest baseline by 7.48 percentage points.
• Abstract（参考訳）: 応答品質をタスク固有の評価基準に分解することで,LLMに基づくシステム評価に広く利用されている。 しかし、タスク固有の品質要件を確実に把握するルーリックを自動的に生成することは、依然として困難である。 ルーブリック生成に対する変異試験誘導型アプローチであるMubricを紹介する。 古典的なソフトウェアテスト方法論であるミューテーションテストは、プログラムに障害を注入し、テストがそれらを検出するかどうかをチェックすることでテストスイートを評価する。 ルーリックが重要な品質要件を捉えている場合、それ以外は高品質なレスポンスに対応する欠陥を導入することでスコアが低下する。 Mubricはまず、好ましくない反応のペアから共通の欠陥を抽出し、これらの欠陥を再利用可能な突然変異演算子に抽象化する。 新しいタスクでは、関連する演算子を参照応答に適用し、注入された欠陥が応答品質を低下させるかどうかを確認し、十分にペナル化された欠陥を使用してルーリックを洗練する。 6つの先進ルーリック生成法に対して4つの代表領域にまたがる703タスクに対するMubricの評価を行った。 ムブリックの総合評価精度は最高であり、ベースラインの7.48ポイントを上回っている。

関連論文リスト

• How effective are traditional test criteria at detecting bugs in large language models generated code? [5.2762490553598065]
  大規模言語モデルによって導入されたほとんどの障害は、比較的簡単にキャッチできる。 断層検出率は極端に低く、多くの場合ゼロに近い。 急進的なオラクルは断層検出を改善することができるが、全体的な効果は限られている。
  論文  参考訳（メタデータ） (2026-09-08T18:04:21Z)
• Reproducible Automated Program Repair Is Hard -- Experiences With the Defects4J Dataset [0.45835414225547183]
  Google Scholarによると、広く使われているベンチマークDefects4Jについて調査する。 APR設定の厳格な要件でテストスイートを実行すると、欠陥の180(21.6)は評価実験には適さないことがわかった。 59(7.1の欠陥)が追加され、コードベースから1つのステートメントを削除することですべてのテストケースが通過するが、人間によるパッチはコードを削除しない。
  論文  参考訳（メタデータ） (2026-04-29T13:46:13Z)
• Test vs Mutant: Adversarial LLM Agents for Robust Unit Test Generation [9.439427795905637]
  LLM(Large Language Model)ベースの手法は、より可読性の高いテストを生成するが、しばしば低カバレッジとコンパイル性に悩まされる。 本稿では,LLMを用いたテストケース生成のための新しい逆フレームワークであるAdverTestを提案する。 提案手法は, 既存のLLM法よりも8.56%, EvoSuiteより63.30%, 故障検出率の向上を図っている。
  論文  参考訳（メタデータ） (2026-02-08T22:34:30Z)
• When "Better" Prompts Hurt: Evaluation-Driven Iteration for LLM Applications [0.0]
  大規模言語モデル(LLM)アプリケーションの評価は、アウトプットが高次元で、プロンプトやモデルの変更に敏感であるため、従来のソフトウェアテストとは異なる。 評価駆動型ワークフロー – Define, Test, Diagnose, Fix – を紹介します。
  論文  参考訳（メタデータ） (2026-01-29T17:32:34Z)
• Reviewing the Reviewer: Elevating Peer Review Quality through LLM-Guided Feedback [75.31379834079648]
  レビューを論証セグメントに分解するLLM駆動型フレームワークを提案する。 遅延思考と特異性をラベル付けした1,309文のデータセットであるLazyReviewPlusもリリースしました。
  論文  参考訳（メタデータ） (2026-01-17T20:32:18Z)
• Fine-Grained Human Pose Editing Assessment via Layer-Selective MLLMs [70.31435391393642]
  我々は17の最先端編集モデルから1,700の標準化されたサンプルをベンチマークで紹介する。 層選択型マルチモーダル言語モデル(MLLM)に基づく統一フレームワークを提案する。 本フレームワークは,信頼性検出と多次元品質回帰の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-01-15T13:22:07Z)
• ORFuzz: Fuzzing the "Other Side" of LLM Safety -- Testing Over-Refusal [27.26251627767238]
  大規模言語モデル(LLM)は、過度に保守的な安全対策のため、誤って良心的なクエリーを拒否する過度な拒絶を示す。 本稿では,LLMオーバーリフレクションの系統的検出と解析を行うための,最初の進化的テストフレームワークORFuzzを紹介する。
  論文  参考訳（メタデータ） (2025-08-15T05:03:26Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。