論文の概要: AnomalyJev: Towards Evaluating Image Anomaly Explanations via Claim-Level Verification

• arxiv url: http://arxiv.org/abs/2610.27565v1
• Date: Tue, 20 Oct 2026 03:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.615586
• Title: AnomalyJev: Towards Evaluating Image Anomaly Explanations via Claim-Level Verification
• Title（参考訳）: AnomalyJev: クレームレベル検証による画像異常説明の評価に向けて
• Abstract要約: AnomalyJevは、トークン生成なしでコンテキスト化された表現から検証可能なクレームを抽出するフレームワークである。 評価のために、本研究では、ドメイン内およびデータセット間における1,600以上の専門家評価を持つ640の説明を人文で記述したセットを構築した。 コンパクトな設計にもかかわらず、AnomalyJevは多くのオープンMLLM審査員よりも人間アノテータとの強い合意を達成している。
• 参考スコア（独自算出の注目度）: 46.207805887771315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal LLM (MLLM)-based anomaly detection (AD) methods can generate textual explanations that help interpret their predictions. However, reliably and efficiently evaluating these explanations remains challenging. While LLM judges can assess explanations through structured rubrics, they often require substantial token generation, making evaluation costly and difficult to scale. We instead propose to anchor evaluation in the available ground truth by extracting verifiable claims from each explanation and verifying them against the corresponding annotations. We instantiate this idea as AnomalyJev, a lightweight framework that extracts verifiable claims from contextualised representations using ground-truth-defined queries and pointer based heads, without token generation. The claims are then verified against the ground truth to score faithfulness and completeness. For evaluation, we construct a human-annotated set of 640 explanations with over 1,600 expert ratings across in-domain and cross-dataset settings. Despite its compact design, AnomalyJev achieves stronger agreement with human annotators than most open MLLM judges and approaches that of flagship MLLM judges, at a fraction of their runtime and resources.
• Abstract（参考訳）: 近年,MLLM (Multimodal LLM) に基づく異常検出 (AD) 手法は,その予測を解釈するためのテキスト説明を生成することができる。 しかし、これらの説明を確実かつ効率的に評価することは依然として困難である。 LLMの審査員は、構造化されたルーリックを通して説明を評価できるが、しばしば相当なトークン生成を必要とし、コストがかかりスケールが難しくなる。 その代わりに、各説明から検証可能なクレームを抽出し、対応するアノテーションに対して検証することにより、利用可能な地上事実の評価をアンロックすることを提案する。 我々はこのアイデアをAnomalyJevとしてインスタンス化する。AnomalyJevは、トークン生成なしで、接地トルース定義クエリとポインタベースヘッドを使用してコンテキスト化された表現から検証可能なクレームを抽出する軽量フレームワークである。 クレームは、誠実さと完全性を評価するために、根拠となる真実に対して検証される。 評価のために、本研究では、ドメイン内およびデータセット間における1,600以上の専門家評価を持つ640の説明を人文で記述したセットを構築した。 コンパクトな設計にもかかわらず、AnomalyJevは、ほとんどのオープンMLLMの裁判官やフラッグシップMLLMの裁判官よりも、ランタイムとリソースのごく一部で、より強力なアノテータとの合意を達成している。

関連論文リスト

• Judging LLM-as-a-Judge: Concerning Rubric Artifacts in LLM-based Automated Text Generation Evaluation [5.779889134811743]
  評価された応答にアクセスできることなく、テキストでのみ訓練されたルーリックが、判定出力に対して非自明な予測性能を達成することを示す。 カウンターファクトは、審査員が、候補の反応または粗末な基準が逆転した場合に、決定を確実に更新することができないことをしばしば示している。
  論文  参考訳（メタデータ） (2026-08-31T18:40:58Z)
• LLMs as annotators of credibility assessment in Danish asylum decisions: evaluating classification performance and errors beyond aggregated metrics [21.604030114864642]
  オフザシェルフの大規模言語モデル(LLM)は、テキストアノテーションの自動化にますます利用されている。 デンマークのテキスト分類データセットであるRAB-Credを紹介した。 本研究は,21個のオープンウェイトモデルと30個のシステム・ユーザ・プロンプトの組み合わせをベンチマークし,ゼロショットと少数ショットの分類におけるモデルとプロンプトの選択の効果を体系的に評価する。
  論文  参考訳（メタデータ） (2026-05-13T12:07:47Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Fine-Grained Detection of Context-Grounded Hallucinations Using LLMs [16.173245551933178]
  コンテキストグラウンドド・幻覚(Context-grounded hallucination)は、モデル出力がソーステキストに対して検証できない情報を含む場合である。 このような幻覚を局在化するためのLCMの適用性について検討する。
  論文  参考訳（メタデータ） (2025-09-26T17:03:24Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Real-World Summarization: When Evaluation Reaches Its Limits [1.4197924572122094]
  従来のメトリクス、トレーニング可能なメソッド、LCM-as-a-judgeアプローチを比較します。 その結果、単語のような単純なメトリクスは、人間の判断と驚くほどよく重なることがわかった。 実世界のビジネスへの影響を分析すると、誤った情報やチェック不可能な情報が最大のリスクを生んでいることが分かる。
  論文  参考訳（メタデータ） (2025-07-15T17:23:56Z)
• Evaluating Evidence Attribution in Generated Fact Checking Explanations [48.776087871960584]
  我々は、新しい評価プロトコル、引用マスキングとリカバリを導入する。 我々は,自動アノテータとヒューマンアノテータの両方を用いてプロトコルを実装した。 実験により、最高の性能を持つLSMは、不正確な属性を持つ説明を生成することが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-18T14:13:13Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。