論文の概要: Widening Harm Evaluation Coverage with a Judge that Reads the World

• arxiv url: http://arxiv.org/abs/2611.02624v1
• Date: Mon, 02 Nov 2026 06:51:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:50:49.541435
• Title: Widening Harm Evaluation Coverage with a Judge that Reads the World
• Title（参考訳）: 世界を読む裁判官によるハーム評価範囲の拡大
• Abstract要約: 危害を発見するための安全性評価は、LLMの判断を軌道上の判断か最終状態上の決定論的検査で限定的に行う。 我々はこのギャップを環境状態への読み取り専用アクセスを持ち、有害な分類を与えられるLCMで解決する。 DecodingTrust-Arenaの2つとOSWorldの1つです。
• 参考スコア（独自算出の注目度）: 2.588958866512272
• License:
• Abstract: An agent acting in a stateful environment can leave evidence of harm in two places: the record of what it did and said, or the world it changed. Safety evaluations for discovering harm examine one or the other in limited ways, using either an LLM judge over the trajectory or deterministic checks over the final state. Although LLM-based verifiers that inspect the environment exist, they have been used to verify task completion, not to detect and confirm harm in a safety setting. We address this gap with an LLM that has read-only access to the environment state and is given a harm taxonomy. We evaluate this approach in three environments: two from DecodingTrust-Arena and one from OSWorld. We hold the judge model and harm taxonomy fixed, varying only what the judge observes: the trajectory, read-only tools for inspecting the environment, or both channels together. In the two DecodingTrust-Arena environments, combining the trajectory and state-only judges recalls 94 percent of confirmed harms, compared with 53 percent for the trajectory judge alone. On OS-Harm, the union recalls 77 percent, compared with 67 percent. A single judge given both channels does not perform better and produces more false negatives than the state-only judge. We also record disagreements and find that the two channels miss different episodes. These results suggest that combining verdicts from two channel-specific judges is a robust and flexible approach to detecting and verifying harm in agentic settings.
• Abstract（参考訳）: ステートフルな環境で行動するエージェントは、2つの場所に害の証拠を残すことができる。 危害を発見するための安全性評価は、LLMの判断を軌道上の判断か最終状態上の決定論的検査で限定的に行う。 環境を検査するLCMベースの検証器は存在するが、安全環境での損傷の検出や確認ではなく、タスク完了の検証に使用されている。 我々はこのギャップを環境状態への読み取り専用アクセスを持ち、有害な分類を与えられるLCMで解決する。 DecodingTrust-Arenaの2つとOSWorldの1つです。 我々は、判断モデルと分類学を固定し、審査員が観察するものだけ、すなわち、環境を検査するための軌跡、読み取り専用ツール、あるいは両方のチャンネルを一緒に見ることだけを害する。 DecodingTrust-Arenaの2つの環境では、軌跡と州のみの裁判官が、確認された損害の94%をリコールする。 OS-Harmは77%、OS-Harmは67%だ。 両方のチャンネルが与えられた1人の裁判官は、州のみの裁判官よりも良いパフォーマンスを得られず、さらに偽陰性を生み出す。 意見の相違も記録しており、2つのチャンネルは異なるエピソードを見逃している。 以上の結果から,2つのチャンネル別審査員の評定を組み合わせることは,エージェント設定の害を検知し,検証するための堅牢かつ柔軟なアプローチであることが示唆された。

関連論文リスト

• Commit-first LLM judging inherits the judge's own errors [0.0]
  LLMジャッジは、他のシステムの出力をスコアするモデルであり、彼らがスコアするシステムによってゲームをすることができる。 裁判官は最初にタスクを解決し、その答えにコミットし、2つが一致した場合のみ候補者を受け入れる。 これをコミットファースト判断と呼び、出荷されたソフトウェアがそれを実装しているかどうか、そのコストについて尋ねます。
  論文  参考訳（メタデータ） (2026-08-31T12:14:14Z)
• trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
  アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。 地下の真実が建設によって知られている盲点を測定する。 審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
  論文  参考訳（メタデータ） (2026-08-29T10:14:05Z)
• Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines [0.22843885788439797]
  製品の継続的な評価は、基底真理として扱われる強いLCMの判断に依存している。 judgeはそれ自体がAPIの背後にあるモデルであり、サイレントバージョンアップやスコアの更新はスコアの方法を変える。 我々は、アンカーが保護するメインプロセスを追い越さなければならないという設計法則を持つ帰属レースである(裁判官だけがアンカーを動かすことができる)任意の時間的正当性、一方的な識別を証明します。
  論文  参考訳（メタデータ） (2026-06-13T21:12:27Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。