論文の概要: Reliability of LLM Judges for Evaluating Entity Alignment

• arxiv url: http://arxiv.org/abs/2610.09554v1
• Date: Wed, 07 Oct 2026 06:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.768447
• Title: Reliability of LLM Judges for Evaluating Entity Alignment
• Title（参考訳）: エンティティアライメント評価のためのLCM審査員の信頼性
• Abstract要約: 3つのフロンティアモデル、3つのデータセット、4つのEAシステムにまたがる、最初のシステマティックなベンチマーク研究を示す。 アンカーバイアスは,システムの判断ラベルが見える場合に,判断者が差別を逆転させる,障害モードである。 我々は、フロンティアモデルのパラドックスを明らかにした。
• 参考スコア（独自算出の注目度）: 2.5782420501870296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity Alignment (EA) identifies equivalent entities across knowledge graphs and is critical for knowledge base integration and ontology merging. Evaluating EA systems at scale requires expensive expert annotation, making systematic assessment across diverse domains practically infeasible. LLM-as-judge evaluation offers a potentially scalable alternative, yet its reliability for structured prediction tasks like EA remains unstudied. We present the first systematic benchmarking study across three frontier models, three datasets, and four EA systems, using perturbation bias diagnostics, meta-evaluation across all dataset-judge-prompt combinations, and counterfactual label-flip tests. We identify anchor bias, a failure mode in which judges invert discrimination when the system's decision label is visible. Label exposure causally collapses judge discrimination (J-ROC-AUC 0.12-0.87), while a label-free protocol recovers near-ceiling capability on distinctive-name datasets (0.93-1.00) and significant recovery on biomedical pairs (0.93-0.95). Counterfactual experiments confirm causality (FSR 53-99%) and reveal a frontier model paradox: stronger judges exhibit greater label sensitivity, not less. A blinded two-annotator human evaluation (102 pairs, Cohen's kappa=0.902) confirms this mechanism directly. We release the first biomedical EA benchmark (MeSH-SNOMED CT, 15K pairs) and a reproducible auditing framework for LLM judge reliability in EA. Code and data are available at https://github.com/vaibhavalakshmiravideshik/llm-as-a-judge-entity-alignment.
• Abstract（参考訳）: エンティティアライメント(EA)は知識グラフにまたがる同等のエンティティを識別し、知識ベースの統合とオントロジーの融合に不可欠である。 EAシステムを大規模に評価するには高価な専門家のアノテーションが必要である。 LLM-as-judge評価は潜在的にスケーラブルな代替手段を提供するが、EAのような構造化予測タスクの信頼性は未検討のままである。 本稿では,3つのフロンティアモデル,3つのデータセット,4つのEAシステムを対象に,摂動バイアスの診断,すべてのデータセット・ジャッジ・プロンプトの組み合わせによるメタ評価,および反ファクトリアルなラベル・フリップテストを用いて,最初の系統的ベンチマーク研究を行う。 アンカーバイアスは,システムの判断ラベルが見える場合に,判断者が差別を逆転させる,障害モードである。 ラベルの露出は判断の判断を因果的に崩壊させ(J-ROC-AUC 0.12-0.87)、ラベルフリープロトコルは識別名データセット(0.93-1.00)の近点シーリング能力を回復し、バイオメディカルペア(0.93-0.95)の大幅な回復を行う。 因果性(FSR 53-99%)を確認し、フロンティアモデルのパラドックスを明らかにする。 盲目の2つのアノテータによる評価(102対、コーエンのkappa=0.902)は、このメカニズムを直接確認する。 我々は,最初のバイオメディカルEAベンチマーク(MeSH-SNOMED CT,15Kペア)と,EAにおけるLCM判定信頼性の再現可能な監査フレームワークをリリースする。 コードとデータはhttps://github.com/vaibhavalakshmiravideshik/llm-as-a-judge-entity-alignmentで公開されている。

関連論文リスト

• CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production [0.0]
  CARGOは、検索された参照を手続き的な例証として扱い、ライブインスタンスの観察されたコンテキストにおける事実判断を根拠とするフレームワークである。 CARGO-Benchでは、標準基準に基づく裁判官は、正しい実体変換された回答の100%を罰し、非形式的である(差別指標DI 0)。 CARGOはまた、独自の設計の制限を公開している。エンティティ値を保護する冗長性は、手続き的腐敗の検出を抑制する。
  論文  参考訳（メタデータ） (2026-09-24T19:10:52Z)
• Are we still able to recognize pearls? Machine-driven peer review and the risk to creativity: An explainable RAG-XAI detection framework with markers extraction [7.723181091241251]
  本稿では、レビュー品質を評価し、自動パターンを検出するための説明可能なフレームワーク(RAG-XAI)を提案する。 XGBoost、Random Forest、LightGBMは99.61%、AUC-ROCは0.999以上、F1スコアは0.9925である。
  論文  参考訳（メタデータ） (2026-04-09T08:25:49Z)
• FinReflectKG -- HalluBench: GraphRAG Hallucination Benchmark for Financial Question Answering Systems [0.0]
  現在の知識グラフ(KG)によるQAシステムは幻覚を検出するための体系的なメカニズムを欠いている。 SEC10-K申請に対するKG強化財務QAにおける幻覚検出手法を評価するためのベンチマークであるFinBench-QA-Hallucinationを紹介する。 本研究は、現在のKG強化システムにおける脆弱性を浮き彫りにし、信頼性の高い金融情報システムを構築するための洞察を提供する。
  論文  参考訳（メタデータ） (2026-03-11T04:37:53Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。