論文の概要: HarnessEval-W: Agentifying the Evaluation of Visual Worlds
- arxiv url: http://arxiv.org/abs/2608.16859v1
- Date: Mon, 17 Aug 2026 17:43:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.826523
- Title: HarnessEval-W: Agentifying the Evaluation of Visual Worlds
- Title（参考訳）: HarnessEval-W: 視覚世界の評価を支援する
- Abstract要約: HarnessEval-Wは、世界モデルのベンチマークのためのエージェント化された評価パイプラインである。
HarnessEval-Wは固定ルーブリックを適用するのではなく、評価問題を測定可能なサブプロブレムに分解する。
330件の評価事例に対して,HarnessEval-Wを18の代表的な世界モデルに適用した。
- 参考スコア（独自算出の注目度）: 149.63310396189317
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A benchmark should deliver more than a scalar score: what makes an evaluation trustworthy is the reasoning that justifies the score. This is especially critical for world models, where judging a rollout requires understanding whether physics, causality, and world state evolve correctly. Humans spot such violations naturally, yet no existing benchmark automates this capability: metrics are computed brute-force, leaving no reasoning chain that can be examined or verified. We introduce HarnessEval-W, an agentified evaluation pipeline that brings the harness paradigm from the LLM ecosystem to world model benchmarking. Rather than applying a fixed rubric, HarnessEval-W interprets the context of each evaluation case, decomposes the evaluation question into measurable subproblems, and spawns specialized sub-agents, each equipped with tailored context and diagnostic tools to reason over its own subproblem. The parent agent then validates the gathered evidence and summarizes it into the final verdict. This hierarchical workflow turns every evaluation into a transparent evidence tree whose complete reasoning chain justifies the result. We apply HarnessEval-W to 18 representative world models over 330 evaluation cases. Its judgments closely align with human preferences while providing verifiable, fine-grained diagnoses of every generated rollout. We open-source the full pipeline as a live benchmark and invite the broad community to contribute to grow new skills and evaluation cases as world models evolve.
- Abstract（参考訳）: 評価を信頼できるものにするのは、スコアを正当化する理由です。
これは、ロールアウトを判断するためには、物理、因果関係、世界状態が正しく進化するかどうかを理解する必要がある世界モデルにとって特に重要である。
人間はそのような違反を自然に発見するが、既存のベンチマークではこの機能を自動化していない。
本稿では LLM エコシステムから世界モデルベンチマークにハーネスパラダイムを取り入れた,エージェント化された評価パイプラインである HarnessEval-W を紹介する。
HarnessEval-Wは、固定されたルーブリックを適用するのではなく、各評価ケースのコンテキストを解釈し、評価質問を測定可能なサブプロブレムに分解し、独自のサブエージェントを生成する。
親エージェントは収集された証拠を検証し、それを最終判断にまとめる。
この階層的なワークフローは、すべての評価を完全な推論連鎖が結果を正当化する透明なエビデンスツリーに変換する。
330件の評価事例に対して,HarnessEval-Wを18の代表的な世界モデルに適用した。
その判断は人間の好みと密接に一致し、生成されたロールアウト毎に検証可能な、きめ細かい診断を提供する。
ライブベンチマークとして完全なパイプラインをオープンソースとして公開し、世界モデルの発展に伴って新たなスキルと評価ケースの成長に貢献するために、幅広いコミュニティを招待します。
関連論文リスト
- Position: Evaluation Scores Are Perishable Knowledge Claims [0.0]
評価スコアは、形式性、スコープ、妥当性の3つの特性を持つクレームとして扱われるべきである。
HELMリーダーボードにおける平均アグリゲーションのコストについて説明する。
論文 参考訳（メタデータ） (2026-07-28T18:50:39Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳（メタデータ） (2026-07-17T08:56:43Z) - Pixels Don't Lie (But Your Detector Might): Bootstrapping MLLM-as-a-Judge for Trustworthy Deepfake Detection and Reasoning Supervision [25.382800247901827]
DeepfakeJudgeはスケーラブルな推論の監視と評価のためのフレームワークです。
これは、最近の生成および編集のフォージェリー、視覚的推論ラベルを持つ人間の注釈付きサブセット、および一連の評価モデルを含む、配布外ベンチマークを統合している。
論文 参考訳（メタデータ） (2026-02-23T11:08:46Z) - Benchmarking at the Edge of Comprehension [38.43582342860192]
ベンチマークが実現不可能になった場合、AIの進歩を計測する能力が重要になります。
完全人間の理解が不可能な場合でも,モデルを比較するために設計された対戦型フレームワークであるCrytique-Resilient Benchmarkingを提案する。
標準的なベンチマークとは異なり、人間は有界検証として機能し、ローカライズされたクレームにフォーカスする。
論文 参考訳（メタデータ） (2026-02-15T20:51:29Z) - DisastQA: A Comprehensive Benchmark for Evaluating Question Answering in Disaster Management [27.25517951457221]
我々は8つの災害タイプにまたがる3000の厳格に検証された質問(2000の多重選択と1,000のオープンエンド)の大規模ベンチマークであるDisastQAを紹介した。
オープンエンドQAでは,冗長性よりも事実的完全性を重視した,人間の検証されたキーポイントに基づく評価プロトコルを提案する。
20モデルを用いた実験では、MMLU-Proのような汎用のリーダーボードとはかなりの相違が見られる。
論文 参考訳（メタデータ） (2026-01-07T07:46:42Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - AttributionBench: How Hard is Automatic Attribution Evaluation? [19.872081697282002]
AttributionBenchは、様々な既存の属性データセットからコンパイルされた包括的なベンチマークである。
実験の結果,微調整GPT-3.5でさえ,二項分類法で約80%のマクロF1しか達成できないことがわかった。
300以上のエラーケースの詳細な分析では、失敗の大部分は、ナンスされた情報を処理できないことに起因する。
論文 参考訳（メタデータ） (2024-02-23T04:23:33Z) - OpinSummEval: Revisiting Automated Evaluation for Opinion Summarization [52.720711541731205]
人間の判断と14の意見要約モデルからの出力からなるデータセットであるOpinSummEvalを提案する。
以上の結果から,ニューラルネットワークに基づく測定値が神経以外の測定値を上回っていることが示唆された。
論文 参考訳（メタデータ） (2023-10-27T13:09:54Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - From Adversarial Arms Race to Model-centric Evaluation: Motivating a
Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。
既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。
我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-29T14:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。