論文の概要: Don't Read the Log: Execution Traces Contaminate Verifiers in Video-Generation Agents
- arxiv url: http://arxiv.org/abs/2609.28564v1
- Date: Wed, 23 Sep 2026 10:53:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.406535
- Title: Don't Read the Log: Execution Traces Contaminate Verifiers in Video-Generation Agents
- Title（参考訳）: ログを読まない: 実行トレースがビデオ生成エージェントの検証子を汚染する
- Abstract要約: 本稿では,映像生成システムがエージェントの実行トレースよりもマルチモーダルな判断をいかに示すかを示す。
この補助的なテキストが、裁判官の判断を純粋に直観的な要求で動かし、フレームを固定するかどうかを問う。
- 参考スコア（独自算出の注目度）: 2.5536942228520814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic video-generation systems close a loop between a generator and a verifier: an LLM plans shots, calls a text-to-video model, and a multimodal judge decides whether the result satisfies the request. To diagnose where a long workflow fails, recent harnesses deliberately show the judge more than the video-the agent's execution trace, its plan, the narration it synthesized. We ask whether this auxiliary text moves the judge's verdict on purely \emph{visual} requirements, holding the frames fixed. On a benchmark of 109 generated two-event clips with manual labels, in which the requested event is either visibly completed or visibly missing, a trace that reports a successful tool call makes three open-weight Qwen-VL judges (7B, 8B, 32B) accept $78$--$90\%$ of the failures, up from $7$--$19\%$ without text, and a contradicting trace makes them reject up to $100\%$ of correct clips; an instruction to ``use only the frames'' does not remove the effect. Frontier closed judges are essentially unmoved on the same clips, showing that the vulnerability is a property of the judge's learned trust in tool logs rather than of the task. Plan-derived text carries no clip-specific information, so it can only shift a judge's operating point, and in a repair loop that shift becomes a cap on the true pass rate that no repair policy can exceed; the cap matches simulation to two decimals. In the loop, contamination is exploited without any adversarial agent: an honest LLM planner that always regenerates ends with a judge pass rate of $1.00$ and a human-labelled pass rate of $0.28$, and a pipeline in which a cheap checker writes its verdict into the trace launders that checker's errors into a stronger final judge ($0.69$ false accepts).
- Abstract（参考訳）: エージェントビデオ生成システムは、ジェネレータと検証器の間のループを閉じる:LCMはショットを計画し、テキスト・ツー・ビデオ・モデルを呼び出す。
長いワークフローがどこで失敗するかを診断するために、近年のハーネスは、ビデオ、エージェントの実行トレース、その計画、合成されたナレーションよりも意図的に裁判官に示す。
この補助的なテキストは、裁判官の判断を純粋に \emph{visual} 要求で動かし、フレームを固定するかどうかを問う。
手動ラベル付き109のベンチマークでは、要求されたイベントが視覚的に完了したか、視覚的に欠落しているかのどちらかで、成功したツールコールが3人のオープンウェイトなQwen-VL審査員(7B、8B、32B)に、テキストなしで78$--90$%、テキストなしで7$--19$%、そして矛盾したトレースが、100$%の正しいクリップを拒否する。
フロンティアのクローズドジャッジは基本的に同じクリップで動かず、この脆弱性は、そのタスクではなく、ツールログに対する裁判官の学習した信頼の特性であることを示している。
プラン由来のテキストはクリップ固有の情報を持っていないため、裁判官の操作点だけを切り替えることができ、修理ループでは、修理ポリシーが越えられない真のパスレートの上限になる。
常に再生する正直なLSMプランナーは、審査員のパスレートが1.00$で、人間によるパスレートが0.28$で終わる。
関連論文リスト
- The Oversight Gap: What LLM Safety Monitors Miss, and Why It Is Not Capability [10.012788934490084]
2つのセーフティ・ハイパープロパティは2つの実行によってのみ目撃される。
タイトバウンドは、単一トレースモニタのバランスの取れた精度を$tfrac12+tfrac12,TV(P_1)$とする。
プロジェクションフロンティアは、9,8.6%のオフチャンネルリーク、75.7%のクリーントラフィックの広さの旗、良性偏差率とチャネルカウントの1/(qm)$のような精度の低下など、結果として生じるジレンマを強制している。
論文 参考訳（メタデータ） (2026-09-07T07:57:28Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。
地下の真実が建設によって知られている盲点を測定する。
審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
論文 参考訳（メタデータ） (2026-08-29T10:14:05Z) - SARC-DQ: Runtime Data-Quality Gating for Agentic AI: Silent Evidence Defects, the Incompetence Shield, and Downstream-Only Remediation [0.0]
最も危険なエンタープライズの欠陥はメタデータに依存している。
有能なエージェントは、注入されたメタデータに作用する欠陥を、約60%のコストのかかるアクションに変換する。
下流のみのメタデータ対応のプリアクションゲートは、その述語カバーの信号で完全に損失を回復する。
論文 参考訳（メタデータ） (2026-07-28T22:22:52Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Auto: The AGI Compiler [0.0]
Autoは、ライブエージェントの振る舞いを記録し、どの部分が秘密に決定論的かを測定し、それを検証プログラムや蒸留専門家に抽出し、認識バイナリを出力するコンパイラである。
我々は,「AGIコンパイラ」を狭義で実証可能な意味で使用し,新規体験を,未知の知識を計測しながら,永続的で検証された,ほぼ自由なスキルに自律的に変換するシステムを開発した。
論文 参考訳（メタデータ） (2026-07-05T23:09:24Z) - Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines [0.22843885788439797]
製品の継続的な評価は、基底真理として扱われる強いLCMの判断に依存している。
judgeはそれ自体がAPIの背後にあるモデルであり、サイレントバージョンアップやスコアの更新はスコアの方法を変える。
我々は、アンカーが保護するメインプロセスを追い越さなければならないという設計法則を持つ帰属レースである(裁判官だけがアンカーを動かすことができる)任意の時間的正当性、一方的な識別を証明します。
論文 参考訳（メタデータ） (2026-06-13T21:12:27Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory [73.22944697933603]
既存のパイプラインは不透明でエンドツーエンドの出力を生成し、検査の中間状態は公開しない。
IMPACT-Cycleは,マルチモーダル反復クレームレベルのメンテナンスとして,長時間ビデオ理解を再構築するマルチエージェントシステムである。
論文 参考訳（メタデータ） (2026-04-22T03:03:33Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。