論文の概要: StableJudge: A Lightweight Adversarial Defense Framework for LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2610.16814v1
• Date: Mon, 12 Oct 2026 14:00:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.381325
• Title: StableJudge: A Lightweight Adversarial Defense Framework for LLM-as-a-Judge
• Title（参考訳）: StableJudge: LLM-as-a-Judgeのための軽量な敵防衛フレームワーク
• Abstract要約: 大規模言語モデル(LLM)は、下流の意思決定を駆動するスカラースコアを割り当てるために、ますます裁判官として使われている。 LLMは評価コンテンツに埋め込まれたスコアハイジャックプロンプトインジェクションに対して脆弱であり、スコア信号や歪曲によるランク付けを損なう。 本稿では,再利用可能なプリスコーリング機能として,プロンプトインジェクション緩和を外部化する軽量な防御フレームワークであるStableJudgeを提案する。
• 参考スコア（独自算出の注目度）: 47.22026327812205
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly used as judges to assign scalar scores that drive downstream decision-making, including tasks such as paper review and recommendation. However, LLM-as-a-Judge pipelines are vulnerable to score-hijacking prompt injection embedded in evaluated content, which corrupts scoring signals and distorts induced rankings. Existing defenses often enforce robustness by modifying the judge model itself, making safety dependent on a specific model's scale and training and requiring repeated effort when the judge is updated or replaced. We propose StableJudge, a lightweight defense framework that externalizes prompt-injection mitigation as a reusable pre-scoring capability. StableJudge centers on a compact 0.13B Sentry that localizes injected spans and performs targeted sanitization prior to evaluation, and is trained using adversarially evolving attacks to improve robustness beyond a fixed prompt set. To stabilize measurement, StableJudge derives deterministic, fine-grained scalar scores from the judge's output distribution. Across held-out scientific abstracts and out-of-distribution attack variants, StableJudge improves score recovery under attack while largely preserving general-purpose performance, demonstrating that robust LLM-based judging can be achieved by decoupling safety from judge scale via reusable defense capabilities. Code and data will be released.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、紙のレビューやレコメンデーションなどのタスクを含む下流の意思決定を駆動するスカラースコアの割り当てに、ますます多くの裁判官が使用している。 しかし、LCM-as-a-Judgeパイプラインは、評価コンテンツに埋め込まれたスコアハイジャックインジェクションに対して脆弱であり、スコア信号や歪曲によるランク付けを損なう。 既存の防衛は、しばしば、裁判官モデル自体を変更し、特定のモデルの規模と訓練に依存し、裁判官が更新または交換されたときに繰り返し努力を必要とするようにすることで、堅牢性を強制する。 本稿では,再利用可能なプリスコーリング機能として,プロンプトインジェクション緩和を外部化する軽量な防御フレームワークであるStableJudgeを提案する。 StableJudgeは、注入されたスパンをローカライズし、評価の前にターゲットの衛生化を行うコンパクトな0.13B Sentryに集中し、敵に進化した攻撃を用いて訓練され、固定されたプロンプトセットを超えて堅牢性を改善する。 測定を安定させるために、StableJudgeは、審査員の出力分布から決定論的できめ細かなスカラースコアを導出する。 科学的抽象化とアウト・オブ・ディストリビューション攻撃の亜種を含むStableJudgeは、攻撃時のスコアリカバリを改善しながら、汎用的なパフォーマンスを保ちながら、堅牢なLSMベースの判断は、再利用可能な防御能力を通じて、審査規模から安全性を分離することで達成できることを実証している。 コードとデータはリリースされます。

関連論文リスト

• Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees [16.73004625486562]
  LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。 基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。 提案するリスク管理フレームワークは,不確実性のしきい値の正当性を判定し,ユーザの特定レベル以下で検証できる。
  論文  参考訳（メタデータ） (2026-08-18T16:42:02Z)
• D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting [18.812968910221823]
  マルチターンジェイルブレイク攻撃は、有害な目標に向けて反復的にプロンプトを洗練するために補助裁判官モデルからのフィードバックを利用する。 本稿では,D-Judgeについて紹介する。 D-Judgeは、良質なベンチマークの性能を維持しつつ、最先端のマルチターンジェイルブレイクの成功率を低下させることを示す。
  論文  参考訳（メタデータ） (2026-05-31T06:40:02Z)
• Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models [0.0]
  プロンプト攻撃は、大規模言語モデルシステムに重大なセキュリティリスクをもたらす。 運用においては、ガードレールは厳格な低遅延制約の下でこれらの攻撃を軽減する必要がある。 本研究では, LLM がライブガードレールの有効低遅延判定に有効であることを示す。
  論文  参考訳（メタデータ） (2026-03-26T08:47:53Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge [44.6358611761225]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な知性を示してきた。 これらのシステムは、評価結果を操作できる敵攻撃の影響を受けやすい。 LLMに基づく審査員による既存の評価手法は、しばしば断片的であり、包括的な評価のための統一された枠組みが欠如している。
  論文  参考訳（メタデータ） (2025-06-11T06:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。