論文の概要: JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols

• arxiv url: http://arxiv.org/abs/2608.26982v1
• Date: Thu, 27 Aug 2026 11:28:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.371042
• Title: JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols
• Title（参考訳）: judgeStealer: 評価プロトコル間でのLLM判断能力の抽出
• Abstract要約: JUDGESTEALERは、ポイントワイドスコアリング、ペアワイド比較、リストワイドランキングプロトコル間での判定機能を複製する、クエリ効率のよいモデル抽出フレームワークである。 強力なクロスプロトコル契約を利用してポイントワイズスコアを取得し、それらを追加の被害者クエリなしでペアワイズとリストワイズに変換する。 既存の抽出基準を73.3%、87.0%、71.6%まで上回り、それぞれポイントワイド、ペアワイド、リストワイドで評価されている。
• 参考スコア（独自算出の注目度）: 27.45301899307822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) judges are increasingly used across various evaluation scenarios, making their judgment capabilities valuable intellectual property. However, black-box access exposes these capabilities to model extraction attacks. Existing extraction methods do not specifically target LLM judges and provide limited support for multiple evaluation protocols under restricted query budgets. In this study, we propose JUDGESTEALER, the first query-efficient model extraction framework for replicating judging capabilities across pointwise scoring, pairwise comparison, and listwise ranking protocols. JUDGESTEALER exploits the strong cross-protocol agreement to acquire pointwise scores and transform them into pairwise and listwise supervisions without additional victim queries. To capture informative judge patterns and improve query efficiency, JUDGESTEALER dynamically selects pointwise inputs based on semantic diversity, predictive uncertainty, and potential judge biases. It further applies score smoothing and multi-protocol review to preserve the ordinal structure of scores and mitigate catastrophic forgetting during surrogate adaptation. Extensive experiments on state-of-the-art LLM-as-a-judge and reward models show that JUDGESTEALER consistently outperforms existing extraction baselines, achieving up to 73.3%, 87.0%, and 71.6% accuracy for pointwise, pairwise, and listwise evaluation, respectively. JUDGESTEALER also remains effective across different sur- rogate model scales, adaptation strategies, and reasoning settings. Moreover, JUDGESTEALER demonstrates robustness against representative extraction defenses.
• Abstract（参考訳）: 大規模言語モデル(LLM)の判断は、様々な評価シナリオにまたがって用いられるようになり、その判断能力は知的財産価値を高めている。 しかし、ブラックボックスアクセスは、これらの機能を抽出攻撃のモデルとして公開する。 既存の抽出方法は LLM の審査員を対象とせず、制限されたクエリ予算の下で複数の評価プロトコルを限定的にサポートしている。 本研究では,ポイントワイドスコアリング,ペアワイド比較,リストワイドランキングプロトコル間での判定機能を複製する,最初のクエリ効率の高いモデル抽出フレームワークであるJUDGESTEALERを提案する。 JUDGESTEALERは、強力なクロスプロトコール契約を利用してポイントワイズスコアを取得し、追加の犠牲者クエリなしでペアワイズとリストワイズに変換する。 情報的判断パターンを捕捉し、クエリ効率を向上させるため、JUDGESTEALERは、意味的多様性、予測の不確実性、潜在的な判断バイアスに基づいて、ポイントワイズ入力を動的に選択する。 さらに、スコアスムーシングとマルチプロトコールレビューを適用し、スコアの順序構造を保存し、サロゲート適応時の破滅的な忘れを緩和する。 最先端のLCM-as-a-judgeおよび報酬モデルに関する広範な実験は、JUDGESTEALERが既存の抽出ベースラインを一貫して上回り、それぞれ73.3%、87.0%、71.6%の精度でポイントワイド、ペアワイド、リストワイドの評価を達成していることを示している。 JUDGESTEALERは、異なるサーゲートモデルスケール、適応戦略、推論設定でも有効である。 さらに、JUDGESTEALERは、代表的抽出防御に対する堅牢性を示す。

関連論文リスト

• On the Adversarial Robustness of Multimodal LLM Judges [49.80009278197918]
  審査員として機能する汎用MLLMの対角的堅牢性を評価するための最初のフレームワークであるRobustMLLMJudgeを紹介する。 RobustMLLMJudgeを用いて、異なるMLLM審査員は、スコアを膨らませる敵攻撃に対して非常に脆弱であることを明らかにした。 MGSIAは,MLLM審査員に対するより効果的かつ伝達可能な攻撃を可能にするために,これらの制約を回避した新しい手法である。
  論文  参考訳（メタデータ） (2026-06-14T05:30:20Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation [13.831735556002426]
  小型言語モデル(SLM)は様々な推論タスクを約束している。 解答の正しさを判断する能力は、大言語モデル(LLM)と比較しても明らかでない。
  論文  参考訳（メタデータ） (2025-11-20T01:14:39Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。