論文の概要: Decision Models as Judges for Hallucination Detection

• arxiv url: http://arxiv.org/abs/2610.37229v1
• Date: Tue, 27 Oct 2026 13:38:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.643146
• Title: Decision Models as Judges for Hallucination Detection
• Title（参考訳）: 幻覚検出のための判断モデル
• Abstract要約: 決定モデルは、自由形式テキストの代わりにラベルごとに確率で事前定義された判定を返す。 5つの幻覚型に対するバイナリベンチマークを構築し, 5つの決定モデルと生成型判定器GPT-6-solを比較した。 最良の決定モデルは、文脈不整合のバランスの取れた精度でGPt-6-solと一致し、事実誤差の3ポイント以内となる。 また,決定モデルの信頼性カスケードは3種類のモデルで1.9-3.3ポイント向上し,GPt-6-ゾルを1-3%超える。
• 参考スコア（独自算出の注目度）: 3.1977377377944696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are widely used as judges of model outputs (LLM-as-a-Judge), but they are costly and can hallucinate or be overconfident. Decision models are a potential alternative. They return a predefined verdict with a probability for each label instead of free-form text and are much cheaper and faster. We test this promise on hallucination detection. We build binary benchmarks for five hallucination types (9,852 items from six datasets) and compare five decision models with the generative judge gpt-6-sol. Performance depends strongly on the type: the best decision model matches gpt-6-sol in balanced accuracy on context inconsistency and comes within 3 percentage points on factual errors, but trails it by 4-8 points on logical and instruction inconsistency. Decision-model probabilities are overconfident, though less so than the GPT-6 models, and separate correct from incorrect decisions only moderately. We also find that a confidence cascade of decision models improves on the best single model by 1.9-3.3 points on three types and matches or exceeds gpt-6-sol at 1-3% of its cost. Overall, decision models are a practical low-cost judge for some hallucination types but need to be validated before use.
• Abstract（参考訳）: 大規模言語モデルは、モデルアウトプット(LLM-as-a-Judge)の判断として広く使用されているが、高価で幻覚的あるいは過信的である。 決定モデルは潜在的な代替案である。 自由形式のテキストではなく、各ラベルの確率で事前定義された判断を返却し、より安価で高速である。 私たちはこの約束を幻覚検出でテストする。 我々は5つの幻覚型(6つのデータセットから9,852項目)のバイナリベンチマークを作成し、5つの決定モデルと生成的判断gpt-6-solを比較した。 最高の決定モデルは、コンテキストの不整合の正確さでgpt-6-solと一致し、実際のエラーで3ポイント以内となるが、論理的および命令的不整合では4～8ポイント遅れる。 決定モデル確率は、GPT-6モデルよりも低いが過信であり、誤った決定を適度にのみ分離する。 また,決定モデルの信頼性カスケードは3種類のモデルで1.9-3.3ポイント向上し,そのコストの1～3%でgpt-6-solを超えていることがわかった。 全体として、意思決定モデルは幻覚の型を実際に低コストで判断するが、使用前に検証する必要がある。

関連論文リスト

• Do We Need an LLM to Know Why Sources Conflict? Decision Models for Knowledge-Conflict Typing in RAG [0.0]
  テキストを生成する代わりに、1つのフォワードパスで固定オプションに対して確率を返す型決定モデルが、この分類を迅速かつ安価に行うことができるかどうかを検討する。 同一入力におけるGeminiモデルに対して、7つのプロバイダから1つの商用推論ゲートウェイによって提供される11の決定モデルすべてを評価する。
  論文  参考訳（メタデータ） (2026-10-27T09:43:21Z)
• Entity Matching using Decision Models [3.1427994341585688]
  本稿では,エンティティマッチングのための生成的大規模言語モデル (LLM) に代わる決定モデルについて検討する。 決定モデルは、テキストを生成するのではなく、事前に定義された各回答オプションの確率を返す。 実験の結果,4つの最強決定モデルでは,GPT-6 Lunaに近いF1スコアが得られた。
  論文  参考訳（メタデータ） (2026-10-25T22:48:34Z)
• Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority [0.0]
  システム1決定モデルは、大きな言語モデルに基づいて構築されるが、テキストを生成する代わりに、各オプションのキャリブレーションされた確率を返す。 正しい権威が欠如している場合、そのようなモデルが不在かどうかをテストする。 法的なAIは、正確性だけでではなく、間違った引用によって判断されるべきである。
  論文  参考訳（メタデータ） (2026-10-21T16:17:49Z)
• Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
  1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。 タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。 その結果、自動決定ゲートの条件依存ルールが得られる。
  論文  参考訳（メタデータ） (2026-09-29T19:57:59Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• RPRA: Predicting an LLM-Judge for Efficient but Performant Inference [46.77119317314821]
  大規模言語モデル(LLM)は、計算効率(例えばパラメータの数)と出力品質の基本的なトレードオフに直面している。 我々は、ゼロショット予測、コンテキスト内レポートカードを用いた予測、教師付き微調整の3つのアプローチを評価する。
  論文  参考訳（メタデータ） (2026-04-14T12:04:21Z)
• Self-Improving VLM Judges Without Human Annotations [74.29324865147838]
  自己合成データのみを用いて,人間の好みのアノテーションを使わずにVLM判断モデルを自己学習する枠組みを提案する。 提案手法は,Llama-3.2-11Bマルチモーダル判定を0.38から0.51に改善する。 これらの注釈のない結果の全体的な強みは、VLM能力の急速な向上とともに進化する将来の自己判断の可能性を示している。
  論文  参考訳（メタデータ） (2025-12-02T20:52:19Z)
• Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models [82.92771279118888]
  マルチモーダル報酬モデルを評価するためのエキスパートアノテートベンチマークであるMultimodal RewardBenchを紹介する。 我々のデータセットは、様々な視覚言語モデルから収集された5,211個の注釈付き(プロンプト、選択された応答、拒否された応答)三つ子からなる。 Gemini 1.5 ProやClaude 3.5 Sonnetといったトップパフォーマンスモデルでさえ、全体的な精度は72%に過ぎません。
  論文  参考訳（メタデータ） (2025-02-20T01:48:13Z)
• Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models [56.02275285521847]
  LLm評価器のパネル(PoLL)を用いた評価モデルを提案する。 より多数の小さなモデルで構成されたPoLLは,1つの大判定器より優れ,不整合モデルファミリーの構成によるモデル内バイアスが小さく,しかも7倍以上のコストがかかる。
  論文  参考訳（メタデータ） (2024-04-29T15:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。