論文の概要: Screening LLM Judges Without Ground Truth: A Preliminary Evaluation of an AI Dental Hygiene Coach

• arxiv url: http://arxiv.org/abs/2610.24335v1
• Date: Sat, 17 Oct 2026 00:02:02 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:43:43.82958
• Title: Screening LLM Judges Without Ground Truth: A Preliminary Evaluation of an AI Dental Hygiene Coach
• Title（参考訳）: 根拠のないLLM審査員のスクリーニング:AI歯科衛生士の予備的評価
• Abstract要約: 本稿では,LLM候補の審査員と学生モデルを専門家レビューの前にスクリーニングするパイプラインを提案する。 このケーススタディでは、パイプラインの動作を実証するために、合成的、臨床的に無効なトレーニングと参照データを用いている。 パイプラインはまた、生のスコアが隠された問題も表面化し、そこでは、ある判事が主催したアウトプットや幻覚旗が点在していた。
• 参考スコア（独自算出の注目度）: 0.46906883107634084
• License:
• Abstract: Evaluating a fine-tuned coaching model with expert graders is slow and expensive, and an LLM judge cannot be trusted without ground truth. We present a staged pipeline that screens candidate LLM judges and student models before expert review, using explicit decision rules at each stage: judge output audit, similarity with hosted judges, bias checks, and decision robustness. We demonstrate it on an AI dental hygiene coach. The case study uses synthetic, clinically unvalidated training and reference data to demonstrate the operation of the pipeline, rather than to establish the clinical performance of the resulting models. Two fine-tuned small language models (Granite-4.1-8B and Qwen3-8B), each trained at three data sizes, were scored on seven metrics by five judges (three local, two hosted). Two local judges, Qwen3.8-27B and Gemma-4-31B-it, were not distinguishable from the agreement between the hosted judges on six of seven metrics by rank correlation, and Qwen3.8-27B was the most similar to the hosted judges overall. No judge met our criterion for favoring its own model family or training-data source. The student comparison did not separate the two models on any metric under the pipeline's rule, so the choice of Granite-4.1-8B, which led in 29 of 35 judge-by-metric cells, is a lean that depends partly on truncated Qwen3-8B outputs. The pipeline also surfaced problems that raw scores hid, including the truncated outputs and hallucination flags from one hosted judge that no other judge corroborated. No dental hygiene expert has graded these responses, so the findings are preliminary and the pipeline's final stage, anchoring to expert judgement, is proposed but not performed.
• Abstract（参考訳）: 熟練者による微調整されたコーチングモデルの評価は遅く、高価であり、LLMの審査員は根拠のない信頼は得られない。 本稿では,審査対象のLCM審査員と学生モデルを,各段階で明示的な決定ルールを用いて,審査結果の監査,ホストされた審査員との類似性,バイアスチェック,意思決定堅牢性を用いて,専門家レビューの前にスクリーニングするパイプラインを提案する。 私たちは、AI歯科衛生コーチでそれを実演します。 このケーススタディでは、合成的、臨床的に無効なトレーニングと参照データを使用して、結果として得られるモデルの臨床的パフォーマンスを確立するのではなく、パイプラインの動作を実証する。 3つのデータサイズで訓練された2つの微調整された小言語モデル(Granite-4.1-8BとQwen3-8B)は、5人の審査員(ローカル3人、ホスト2人)によって7つの指標で測定された。 地元の2人の裁判官、Qwen3.8-27BとGemma-4-31B-itは7つの指標のうち6つの基準で一致しており、Qwen3.8-27Bは総合的に最も類似している。 独自のモデルファミリーやトレーニングデータソースを好んだとして、審査員は私たちの基準を満たしませんでした。 学生の比較では、パイプラインの規則の下では2つのモデルが分離されなかったため、35個の判定単位の細胞のうち29個がグラナイト-4.1-8Bであり、一部が切り離されたQwen3-8Bの出力に依存するリーンである。 パイプラインはまた、生のスコアが隠された問題も浮上し、ある判事が他の判事と共謀していないという、散発的なアウトプットや幻覚の旗が掲げられた。 歯科衛生学の専門家は,これらの反応を評価できないため,予備的であり,専門家の判断に固執するパイプラインの最終段階が提案されているが,実施されていない。

関連論文リスト

• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
  アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。 地下の真実が建設によって知られている盲点を測定する。 審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
  論文  参考訳（メタデータ） (2026-08-29T10:14:05Z)
• The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
  CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。 パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
  論文  参考訳（メタデータ） (2026-08-26T08:54:32Z)
• LLM Judges Can Be Too Generous When There Is No Reference Answer [4.33144664431421]
  判断モデルでは, 基準解が存在しない場合には, 誤答を過度に繰り返す傾向がある。 また、このプロンプトに参照回答情報を追加することで、審査モデルの正しい/間違った判断を最大85%下げることを示す。 本研究は, LLM審査員を基準意識で評価し, 基準無条件で確実に使用する前に, 基準無条件で評価する必要性を強調した。
  論文  参考訳（メタデータ） (2026-07-14T15:31:33Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。