論文の概要: SESSE: Sketch, Expand, Sort, Summarize, Evaluate -- LLM-as-Judge Evaluation via Structured Decomposition

• arxiv url: http://arxiv.org/abs/2608.18303v1
• Date: Tue, 18 Aug 2026 20:27:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.204463
• Title: SESSE: Sketch, Expand, Sort, Summarize, Evaluate -- LLM-as-Judge Evaluation via Structured Decomposition
• Title（参考訳）: SESSE: Sketch, Expand, Sort, Summarize, Evaluate -- LLM-as-Judge Evaluation by Structured Decomposition
• Abstract要約: 本研究では,SESSE(Sketch, Expand, Sort, Summarize, Evaluate)を提案する。 RewardBench (n=1,000)では、SESSEはチェーンオブソートベースラインとほぼ一致しており、微調整のスペシャリストであるRISE-Judge-32B (92.7%)と競合している。
• 参考スコア（独自算出の注目度）: 0.30586855806896046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-as-judge evaluation reduces response quality assessment to a single holistic A/B preference choice, providing no mechanism to isolate which quality dimensions drove the preference or distinguish model errors from genuine label ambiguity. We propose SESSE (Sketch, Expand, Sort, Summarize, Evaluate), a training-free framework that decomposes holistic judgment into structured sub-questions mined directly from the judge's own error cases; requiring no oracle responses, task-specific rubrics, or fine-tuning. On RewardBench (n=1,000), SESSE achieves near-parity with the chain-of-thought baseline and is competitive with RISE-Judge-32B (92.7%), a fine-tuned specialist, while remaining fully training-free. Per-criterion vote evidence provides an interpretable audit trail for diagnosing label ambiguity and judge failure modes unavailable from a single holistic output token.
• Abstract（参考訳）: LLM-as-judge評価は、応答品質の評価を単一の総合的なA/B選好選択に還元し、どの品質寸法が好みを駆動したか、またはモデルエラーを真のラベルの曖昧さと区別するメカニズムを提供しない。 本研究では,SESSE (Sketch, Expand, Sort, Summarize, Evaluate) を提案する。SESSE (Sketch, Expand, Sort, Summarize, Evaluate) は,総合的な判断を,裁判官自身のエラー事例から直接抽出した構造化されたサブクエストに分解する学習自由フレームワークである。 RewardBench (n=1,000)では、SESSEはチェーン・オブ・ソート・ベースラインとほぼ同等であり、微調整のスペシャリストであるRISE-Judge-32B (92.7%)と競合する。 基準ごとの投票証拠は、ラベルの曖昧さを診断するための解釈可能な監査証跡を提供し、単一の全体的出力トークンから利用できない障害モードを判断する。

関連論文リスト

• JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols [27.45301899307822]
  JUDGESTEALERは、ポイントワイドスコアリング、ペアワイド比較、リストワイドランキングプロトコル間での判定機能を複製する、クエリ効率のよいモデル抽出フレームワークである。 強力なクロスプロトコル契約を利用してポイントワイズスコアを取得し、それらを追加の被害者クエリなしでペアワイズとリストワイズに変換する。 既存の抽出基準を73.3%、87.0%、71.6%まで上回り、それぞれポイントワイド、ペアワイド、リストワイドで評価されている。
  論文  参考訳（メタデータ） (2026-08-27T11:28:32Z)
• Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees [16.73004625486562]
  LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。 基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。 提案するリスク管理フレームワークは,不確実性のしきい値の正当性を判定し,ユーザの特定レベル以下で検証できる。
  論文  参考訳（メタデータ） (2026-08-18T16:42:02Z)
• Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement [13.774572921429217]
  BINEVALは評価基準を原子二分問題に分解するフレームワークである。 タスクプロンプトが与えられたとき、メタプロンプトはきめ細かい評価質問を生成する。 LLMはそれぞれの出力に対して独立して答え、透過的な質問レベルのフィードバックをもたらす。
  論文  参考訳（メタデータ） (2026-06-25T16:14:50Z)
• MCJudgeBench: A Benchmark for Constraint-Level Judge Evaluation in Multi-Constraint Instruction Following [8.500414706731036]
  本稿では,制約レベル判定のベンチマークであるMCJudgeBenchを紹介する。 各インスタンスには、命令、候補応答、明示的な制約リスト、Yes、部分的、ノー、制御された応答側の摂動を含む。 我々は、正確性と矛盾性の両方の指標を用いて、プロプライエタリかつオープンソースのLCM審査員を評価した。
  論文  参考訳（メタデータ） (2026-05-05T15:20:42Z)
• Quantifying and Mitigating Self-Preference Bias of LLM Judges [5.017055831476582]
  自己選好バイアス(英: Self-Preference Bias、SPB)は、LSMが評価中に生成した出力を体系的に好まない、または好ましくない方向性評価偏差である。 既存の測定は、コストのかかる人的アノテーションと、評価的なスタンスによる生成能力に頼っているため、現実のシステムにおける大規模展開には実用的ではない。 本研究では,SPBの定量化と緩和のための完全自動化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-24T09:46:22Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• A Framework for Evaluating LLMs Under Task Indeterminacy [49.298107503257036]
  大規模言語モデル(LLM)の評価は、評価コーパスの各項目に対して単一の正しい応答(ゴールドラベル)があると仮定することが多い。 タスク不確定性の下でLLMを評価するためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-11-21T00:15:44Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。