論文の概要: Codifying the Judge: Scalable Evaluation via Program Distillation

• arxiv url: http://arxiv.org/abs/2607.22561v1
• Date: Fri, 29 May 2026 03:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.963841
• Title: Codifying the Judge: Scalable Evaluation via Program Distillation
• Title（参考訳）: 裁判官のコード化:プログラム蒸留によるスケーラブルな評価
• Abstract要約: PAJAMAは、審査員としてプログラムを合成し、意思決定を共同判断に集約し、低信頼のケースをLSMにエスカレートするためのフォールバック機構を組み込むシステムである。 5つのデータセットと4つのモデルファミリーにまたがって,プログラム型判定器が13BサイズのLLM判定器の性能に適合できることを示す。 RewardBenchでは、プログラムの評定から抽出した報酬モデルが、プロプライエタリなLCMのラベルで2桁のAPIコストでトレーニングされた報酬モデルを上回っている。
• 参考スコア（独自算出の注目度）: 17.75205333053854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-judge has become the standard for automated evaluation, but it suffers from high cost, significant latency, and opaque decisions -- limitations that undermine its scalability and reliability. We address these with a simple, efficient alternative: program distillation. Instead of prompting an LLM at the evaluation time, we distill its decision logic into a committee of programs that score candidates directly. These programmatic judges offer transparency, are easily inspected or edited, and eliminate per-sample API costs. Building on this notion, we introduce PAJAMA, a system that synthesizes programs as judges, aggregates their decisions into a joint verdict, and incorporates a fallback mechanism to selectively escalate low-confidence cases to an LLM. Across five datasets and four model families, we show that programmatic judges can match the performance of a 13B-size LLM judge. When using program outputs as routing signals, PAJAMA improves both accuracy and throughput and advances the Pareto frontier. Beyond evaluation, programmatic judges produce cheap and effective reward signals: on RewardBench, a reward model distilled from programs' verdicts outperforms one trained on a proprietary LLM's labels at two orders of magnitude lower API cost.
• Abstract（参考訳）: LLM-as-a-judgeは自動評価の標準になっていますが、そのスケーラビリティと信頼性を損なうような、高コスト、大きなレイテンシ、不透明な決定に悩まされています。 我々はこれらを、単純で効率的な代替案である、プログラム蒸留を用いて解決する。 評価時にLCMを誘導する代わりに、決定ロジックを候補を直接スコアするプログラムの委員会に抽出する。 これらのプログラム上の判断は、透明性を提供し、容易に検査または編集され、サンプルごとのAPIコストを削減します。 この概念に基づいて,審査員としてプログラムを合成し,意思決定を共同判断に集約するシステムPAJAMAを導入し,低信頼のケースを選択的にLLMにエスカレートするフォールバック機構を組み込んだ。 5つのデータセットと4つのモデルファミリーにまたがって,プログラム型判定器が13BサイズのLLM判定器の性能に適合できることを示す。 プログラム出力をルーティング信号として使用する場合、PAJAMAは精度とスループットの両方を改善し、Paretoフロンティアを前進させる。 RewardBenchでは、プログラムの評定から抽出された報酬モデルは、プロプライエタリなLLMラベルで2桁のAPIコストでトレーニングされた報酬よりも優れています。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation [0.0]
  大規模言語モデル(LLM)の安全性評価は、一般的にLLMベースの判断に頼っている。 ユーザモデル会話において,ModernBERTやEttinを含むModernBERTファミリーの細調整されたモダンエンコーダ分類器が,有害なLCM出力を確実に識別できるかどうかを評価する。 F1スコア,偽陰性率,高精度リコール測定値を用いて絶対性能を報告する。
  論文  参考訳（メタデータ） (2026-06-24T13:00:25Z)
• Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training [75.98427023288052]
  LLM(Reasoning LLMs-as-Judges)は、推論モデルの成功を検証不可能な領域に拡張するための有望な道を提供する。 本研究では、強化学習に基づくLLMアライメントにおける非推論および推論判断の実際の影響について検討した。 我々は,高い効率の対向出力を生成することを学ぶことによって,理性判断訓練された政策が,そのような高い性能を達成することを見出した。
  論文  参考訳（メタデータ） (2026-03-12T17:57:06Z)
• JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation [13.831735556002426]
  小型言語モデル(SLM)は様々な推論タスクを約束している。 解答の正しさを判断する能力は、大言語モデル(LLM)と比較しても明らかでない。
  論文  参考訳（メタデータ） (2025-11-20T01:14:39Z)
• Time To Impeach LLM-as-a-Judge: Programs are the Future of Evaluation [16.017941636877193]
  大規模言語モデル(LLM)はLLM世代と応答の質を評価するために広く使われている。 PAJAMA は LLM を用いて応答を直接スコアリングするのではなく,実行可能判定プログラムを合成する新しい代替手段である。 これらの合成プログラムは、ローカルに保存および実行することができ、解釈可能で監査可能な判断ロジックを提供しながら、桁違いのコストを削減できる。
  論文  参考訳（メタデータ） (2025-06-12T06:53:22Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• Tuning LLM Judge Design Decisions for 1/1000 of the Cost [42.06346155380305]
  大きな言語モデル(LLM)は、しばしば人為的なアノテーションを必要とする。 この問題に対処するため、2つのLLMの出力を比較するLLMベースの審査員が提案されている。 いくつかのアプローチが提案されているが、異なる論文の間には多くの相反する要因が存在する。
  論文  参考訳（メタデータ） (2025-01-24T17:01:14Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。