論文の概要: Breaking Models to Test the Judge: A Mutation Testing Approach for Semantic Evaluators of Domain Class Diagrams

• arxiv url: http://arxiv.org/abs/2608.14315v1
• Date: Fri, 14 Aug 2026 13:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.391712
• Title: Breaking Models to Test the Judge: A Mutation Testing Approach for Semantic Evaluators of Domain Class Diagrams
• Title（参考訳）: 審査員の判断モデル:ドメイン・クラス・ダイアグラムのセマンティック・評価のための変異試験手法
• Abstract要約: 本稿では,制御された意味的欠陥をドメイン・クラス・ダイアグラムに注入する突然変異検査手法を提案する。 候補判定器は、注入された欠陥を検出する能力に基づいて評価される。 その結果,変異検査は意味的判断を解析するためのスケーラブルなプロキシとして機能する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.6702618251691277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In software engineering, many semantic modeling tasks lack a unique ground truth, as human judgments are both costly and subjective. This paper explores mutation testing as a scalable alternative for evaluating semantic judges (e.g., LLM-based) of models. We propose a mutation testing approach in which controlled semantic defects are injected into domain class diagrams. Starting from pairs of PlantUML class diagrams and textual system descriptions, we apply mutation operators (e.g., removing a class) to generate faulty variants. A candidate judge is then evaluated based on its ability to detect the injected defects. We define 11 mutation operators for the task of comparing a domain class diagram against a textual description and evaluate the proposed approach against a conventional manual assessment of judgment validity. Across six judge configurations (three LLMs and two prompt variants), the automated mutation testing approach is largely consistent with the manual assessment in identifying the better-performing configurations. The results suggest that mutation testing may serve as a scalable proxy for analyzing semantic judges.
• Abstract（参考訳）: ソフトウェア工学では、人間の判断は高価で主観的であるため、多くのセマンティックモデリングタスクは独特な真実を欠いている。 本稿では、モデルの意味判断(LLMに基づく)を評価するためのスケーラブルな代替手段として、突然変異試験について検討する。 本稿では,制御された意味的欠陥をドメイン・クラス・ダイアグラムに注入する突然変異検査手法を提案する。 PlantUMLクラス図とテキストシステム記述のペアから始めて、突然変異演算子(例えば、クラスを削除する)を適用して、欠陥のある変種を生成する。 候補判定器は、注入された欠陥を検出する能力に基づいて評価される。 テキスト記述とドメイン・クラス・ダイアグラムを比較する作業において,11個の突然変異演算子を定義し,従来の手作業による判定精度の評価に対して提案手法を評価する。 6つの判断構成(3つのLSMと2つの急進的な変種)にまたがって、自動突然変異テストアプローチは、より優れた構成を特定するための手作業による評価と大きく一致している。 その結果,変異検査は意味的判断を解析するためのスケーラブルなプロキシとして機能する可能性が示唆された。

関連論文リスト

• Explanation-Guided Metamorphic Testing of Specialized Language Models: An Empirical Study [0.5368630420272898]
  タスク特化言語モデルは、課題トリアージ、文書分類、自動分析などの垂直領域アクティビティをサポートするために、ソフトウェア工学にますます統合されている。 本稿では,説明可能性誘導型メタモルフィックテストが,特殊言語モデルに対するロバストネステストの有効性と妥当性を向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-08-07T10:28:50Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• Probing Network Decisions: Capturing Uncertainties and Unveiling Vulnerabilities Without Label Information [19.50321703079894]
  本稿では, 対実例を用いて分類器の弱点を明らかにするための新しい枠組みを提案する。 本研究では, 画像分類ベンチマークを用いて, 誤分類検出の性能を検証し, その妥当性を検証した。
  論文  参考訳（メタデータ） (2025-03-12T05:05:58Z)
• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• An Auditing Test To Detect Behavioral Shift in Language Models [28.52295230939529]
  本稿では,言語モデルにおける連続的行動シフト監査(BSA)手法を提案する。 BSAはモデル世代のみを通して行動シフトを検出する。 このテストは、数百の例を使って、行動分布の有意義な変化を検出することができる。
  論文  参考訳（メタデータ） (2024-10-25T09:09:31Z)
• Zero-failure testing of binary classifiers [0.3749861135832073]
  本稿では,ゼロフェイルテストから得られた性能指標を用いてバイナリ分類器の評価を行う。 提案手法の主な特徴は2種類の誤差の非対称な処理である。 本稿では,対象者が法定年齢閾値を超えているかどうかを判断するための年齢推定問題に関する提案手法について述べる。
  論文  参考訳（メタデータ） (2024-07-04T14:51:10Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Personalized Interpretable Classification [6.694135469324352]
  我々は、新たなデータマイニング問題として、パーソナライズされた解釈可能な分類を正式に導入する第一歩を踏み出します。 個々のテストサンプルに対してパーソナライズされたルールを識別するために,PICというグリージーなアルゴリズムを提案する。 我々のアルゴリズムは、最先端のSOTA(State-of-the-art)の解釈と同じレベルの予測精度を達成できる。
  論文  参考訳（メタデータ） (2023-02-06T01:59:16Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。