論文の概要: Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation

• arxiv url: http://arxiv.org/abs/2601.14691v2
• Date: Thu, 22 Jan 2026 05:12:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 13:30:18.494187
• Title: Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation
• Title（参考訳）: 判事のゲーム:不誠実な結束はエージェントの評価を損なう可能性がある
• Abstract要約: 大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
• 参考スコア（独自算出の注目度）: 76.5533899503582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as judges to evaluate agent performance, particularly in non-verifiable settings where judgments rely on agent trajectories including chain-of-thought (CoT) reasoning. This paradigm implicitly assumes that the agent's CoT faithfully reflects both its internal reasoning and the underlying environment state. We show this assumption is brittle: LLM judges are highly susceptible to manipulation of agent reasoning traces. By systematically rewriting agent CoTs while holding actions and observations fixed, we demonstrate that manipulated reasoning alone can inflate false positive rates of state-of-the-art VLM judges by up to 90% across 800 trajectories spanning diverse web tasks. We study manipulation strategies spanning style-based approaches that alter only the presentation of reasoning and content-based approaches that fabricate signals of task progress, and find that content-based manipulations are consistently more effective. We evaluate prompting-based techniques and scaling judge-time compute, which reduce but do not fully eliminate susceptibility to manipulation. Our findings reveal a fundamental vulnerability in LLM-based evaluation and highlight the need for judging mechanisms that verify reasoning claims against observable evidence.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、特に、チェーン・オブ・シント(CoT)推論を含むエージェント・トラジェクトリに依存している検証不可能な環境では、判断として使われることが多い。 このパラダイムは、エージェントのCoTが内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 LLM審査員は、エージェント推論トレースの操作に非常に敏感である。 動作や観察を一定に保ちながらエージェントCoTを体系的に書き換えることで、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを示す。 本稿では,タスク進行のシグナルを構成する推論やコンテンツベースアプローチの提示のみを変えるスタイルベースのアプローチにまたがる操作戦略について検討し,コンテンツベースの操作が一貫して有効であることを示す。 提案手法の評価と判断時間計算のスケールについて検討するが,操作に対する感受性を完全には排除しない。 本研究は, LLMに基づく評価の根本的な脆弱性を明らかにし, 観察可能な証拠に対する推論を検証するためのメカニズムの判断の必要性を強調した。

関連論文リスト

• SchemeArena: Factorized Stress Testing of Scheming in LLM Agents [15.436206398870986]
  計画の主な要因は、機器の目標、環境の余裕、監視条件、そして認識された結果である。 SCHEMEARENAは、スケーラブルなシェーミングストレステストのための400-scenarioベンチマークである。 SCOUTは、エージェントの推論と行動から引き出された証拠を判断するスケジュールモニターである。
  論文  参考訳（メタデータ） (2026-09-08T02:02:51Z)
• Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning [48.96460246231164]
  チェーンオブソートモデルからの推論は、モデルが解答にどう着くかの、妥当な窓を提供するように見える。 我々はその利点として推論ステップの重要性を運用する。 十分な能力を持つLLMは、有病率ベースラインよりも優れるが、ノイズ天井にかなり劣っていることが判明した。
  論文  参考訳（メタデータ） (2026-09-03T17:59:08Z)
• On the Adversarial Robustness of Multimodal LLM Judges [49.80009278197918]
  審査員として機能する汎用MLLMの対角的堅牢性を評価するための最初のフレームワークであるRobustMLLMJudgeを紹介する。 RobustMLLMJudgeを用いて、異なるMLLM審査員は、スコアを膨らませる敵攻撃に対して非常に脆弱であることを明らかにした。 MGSIAは,MLLM審査員に対するより効果的かつ伝達可能な攻撃を可能にするために,これらの制約を回避した新しい手法である。
  論文  参考訳（メタデータ） (2026-06-14T05:30:20Z)
• JECA^2: Judgment-Explanation Consistent Adversarial Attack against Forensic Vision-Language Models [1.0998907972211756]
  近年,画像の改ざんを検知し,自然言語による説明を提供するために,VLM(Forensic Vision-Language Model)が開発されている。 既存の敵の攻撃はモデルの二分判断を覆すことを目的としており、それに伴う説明は法医学的な手がかりを明らかにし、攻撃された判断と矛盾する可能性がある。 JECA2は、視覚的属性を共同でリダイレクトし、テキストによる説明を目標判定と整合させる、制御されたホワイトボックスのレッドチーム診断である。
  論文  参考訳（メタデータ） (2026-05-27T15:24:31Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis [24.51410516475904]
  The Prompt Injection (PI) landscape, including attack, Defenses, and their evaluation practices。 我々は,コンテキストに依存したインタラクション設定下でエージェントの振る舞いを体系的に評価する新しいベンチマークであるAgentPIを紹介する。 我々は,文脈依存推論が不可欠である現実的なエージェント設定に一般化することができないが,文脈依存的入力を抑えることで,既存のベンチマークにおいて多くの防御が有効であることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:47:10Z)
• Unknown Unknowns: Why Hidden Intentions in LLMs Evade Detection [4.514361164656055]
  意図,メカニズム,文脈,影響によって編成された,隠された意図の10つのカテゴリの分類法を導入する。 我々は,理性判定や非理性判定を含む検出手法を体系的に評価する。 実世界の現実的な環境、特に低頻度条件下では、検出が崩壊することがわかった。
  論文  参考訳（メタデータ） (2026-01-26T14:59:17Z)
• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
  FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。 我々の枠組みは差別的な決定問題として不誠実検出を定式化している。 FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
  論文  参考訳（メタデータ） (2025-10-05T05:16:54Z)
• Let's Measure Information Step-by-Step: LLM-Based Evaluation Beyond Vibes [14.371259136517802]
  戦略ゲームと情報損失の関連性を利用して, 根拠のないAIシステムの堅牢性について検討する。 我々は,情報理論のメカニズムが対向境界に抵抗するかを解析し,有限サンプル操作を拡張して,有界f-分岐系が攻撃下で維持されることを示す。
  論文  参考訳（メタデータ） (2025-08-07T15:11:43Z)
• MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
  幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。 MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-28T17:38:29Z)
• SAND: Boosting LLM Agents with Self-Taught Action Deliberation [54.48979740613828]
  大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。 本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。 SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
  論文  参考訳（メタデータ） (2025-07-10T05:38:15Z)
• Helpful Agent Meets Deceptive Judge: Understanding Vulnerabilities in Agentic Workflows [41.97051158610974]
  本研究は, 詐欺的あるいは誤解を招くフィードバックの下で, エージェント的堅牢性の体系的解析を行う。 我々は、最強のエージェントでさえ説得力に弱いが欠陥のある批判に弱いことを明らかにした。 本研究は,フィードバックに基づく堅牢性の基本的脆弱性を強調し,より堅牢なエージェントシステム構築のためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-06-03T19:26:23Z)
• Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks [0.0]
  大規模言語モデル (LLM) は、機械生成テキストの品質を評価するための評価器 (LLM-as-a-Judge) としてますます採用されている。 本稿では,LPM-as-a-Judgeアーキテクチャの早期注入攻撃に対する脆弱性について検討する。
  論文  参考訳（メタデータ） (2025-05-19T16:51:12Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。