論文の概要: Structured Multi-Criteria Evaluation of Large Language Models with Fuzzy Analytic Hierarchy Process and DualJudge

• arxiv url: http://arxiv.org/abs/2604.03742v1
• Date: Sat, 04 Apr 2026 14:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.747283
• Title: Structured Multi-Criteria Evaluation of Large Language Models with Fuzzy Analytic Hierarchy Process and DualJudge
• Title（参考訳）: ファジィ解析階層プロセスとデュアルジャッジを用いた大規模言語モデルの構造化多言語評価
• Abstract要約: 大規模言語モデル(LLM)の効果的な評価は、従来の直接スコアリングが矛盾し、不透明な判断を下すため、依然として重要なボトルネックとなっている。 解析階層プロセス(AHP)をLCMに基づく評価に適用し,信頼度を考慮したファジィAHP拡張を提案する。 構造化されたアプローチは、評価を明確な基準に分解し、不確実性を認識したアグリゲーションを取り入れ、より校正された判断を生み出す。
• 参考スコア（独自算出の注目度）: 1.9029675742486802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective evaluation of large language models (LLMs) remains a critical bottleneck, as conventional direct scoring often yields inconsistent and opaque judgments. In this work, we adapt the Analytic Hierarchy Process (AHP) to LLM-based evaluation and, more importantly, propose a confidence-aware Fuzzy AHP (FAHP) extension that models epistemic uncertainty via triangular fuzzy numbers modulated by LLM-generated confidence scores. Systematically validated on JudgeBench, our structured approach decomposes assessments into explicit criteria and incorporates uncertainty-aware aggregation, producing more calibrated judgments. Extensive experiments demonstrate that both crisp and fuzzy AHP consistently outperform direct scoring across model scales and dataset splits, with FAHP showing superior stability in uncertain comparison scenarios. Building on these insights, we propose \textbf{DualJudge}, a hybrid framework inspired by Dual-Process Theory that adaptively fuses holistic direct scores with structured AHP outputs via consistency-aware weighting. DualJudge achieves state-of-the-art performance, underscoring the complementary strengths of intuitive and deliberative evaluation paradigms. These results establish uncertainty-aware structured reasoning as a principled pathway toward more reliable LLM assessment. Code is available at https://github.com/hreyulog/AHP_llm_judge.
• Abstract（参考訳）: 大規模言語モデル(LLM)の効果的な評価は、従来の直接スコアリングが矛盾し、不透明な判断を下すため、依然として重要なボトルネックとなっている。 本研究では, 解析階層プロセス(AHP)をLCMに基づく評価に適用し, さらに重要なことは, LLM生成された信頼度スコアによって変調された三角ファジィ数によるてんかん不確実性をモデル化する信頼度対応型ファジィAHP(FAHP)拡張を提案する。 評価を明確な基準に分解し,不確実性を認識したアグリゲーションを組み込むことにより,より校正された判断を導出する。 大規模な実験により、クリップとファジィAHPはモデルスケールとデータセット分割の直接的なスコアよりも一貫して優れており、FAHPは不確実な比較シナリオにおいて優れた安定性を示した。 これらの知見に基づいて、我々は、整合性を考慮した重み付けにより構造化されたAHP出力と総論的な直接スコアを適応的に融合するDual-Process Theoryにインスパイアされたハイブリッドフレームワークである「textbf{DualJudge}」を提案する。 DualJudgeは最先端のパフォーマンスを実現し、直感的で熟考的な評価パラダイムの相補的な強みを強調している。 これらの結果から,より信頼性の高いLCM評価への原則的経路として,不確実性を考慮した構造化推論が確立された。 コードはhttps://github.com/hreyulog/AHP_llm_judgeで公開されている。

関連論文リスト

• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• MAVEN: Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing [18.35295672031847]
  MAVENは、LLMを明示的な役割分離を通じて意図的な推論に変換するように設計されたフレームワークである。 MAVEN は GEMINI-3.1-Pro などの潜在推論モデルより一貫して優れている。 MAVENは完全にモデルに依存しず、強力で伝達可能な推論ブースターとして機能する。
  論文  参考訳（メタデータ） (2026-05-08T12:11:08Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• RPA-Check: A Multi-Stage Automated Framework for Evaluating Dynamic LLM-based Role-Playing Agents [4.07447364754644]
  本稿では,LLM ベースの RPA の性能を客観的に評価する多段階自動評価フレームワーク RPA-Check を紹介する。 我々は,この枠組みを,いくつかの定量化ローカルモデルを含む法医学的な訓練のための真剣なゲームであるLLM Courtに適用することで検証する。
  論文  参考訳（メタデータ） (2026-04-13T16:08:03Z)
• BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation [11.37493959290663]
  本稿では,参照型生成環境における回答の正当性を評価するためのエンコーダ駆動方式であるBERT-as-a-Judgeを紹介する。 より大規模なLLM審査員のパフォーマンスに適合しながら,語彙ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-10T17:08:40Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals [13.89434979851652]
  大規模言語モデル(LLM)は、エラーが社会的、科学的、安全コストの高い領域にますます展開されている。 本稿では,出力の正確性を予測する単一パスモデル依存フレームワークであるStructure Confidenceを提案する。
  論文  参考訳（メタデータ） (2026-02-01T02:35:59Z)
• Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
  大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。 FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。 本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
  論文  参考訳（メタデータ） (2026-01-06T02:51:56Z)
• REVEALER: Reinforcement-Guided Visual Reasoning for Element-Level Text-Image Alignment Evaluation [10.151027538362259]
  REVEALERは、強化誘導視覚推論に基づく要素レベルのアライメント評価のための統一的なフレームワークである。 提案手法は,MLLM(Multimodal Large Language Models)を用いて意味的要素を明示的にローカライズし,解釈可能なアライメント判断を導出する。
  論文  参考訳（メタデータ） (2025-12-29T03:24:09Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
  動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。 このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。 この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-24T15:39:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。