論文の概要: RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work

• arxiv url: http://arxiv.org/abs/2610.14397v2
• Date: Wed, 14 Oct 2026 02:49:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.043799
• Title: RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work
• Title（参考訳）: RealityBench: 視覚言語モデルによる人体作業の文書化能力を評価するためのシミュレーション環境
• Abstract要約: 物理的な世界での労働者の能力を高めることは、AIエージェントにとって何十年にもわたっての目標だ。 ここでは、11環境にわたるBlenderの現実世界の物理ワークをモデル化し、画像の受容性と文書化の両方にバリエーションを取り入れます。 上位モデルでは,回答がフレーム内のテキストである場合に大きく解決されるが,測定値の読み出しや,小さな部分や空間的関係の判断には不十分であることがわかった。
• 参考スコア（独自算出の注目度）: 11.647248964444351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Augmenting worker capabilities in the physical world through guidance has been a decades-long goal for AI agents. One key supporting capability is to understand what the worker is doing, seeing through the human's camera or smart glasses, and assist them in documentation. Despite advances in vision language models, their capabilities in these settings remain uncertain and are challenging to benchmark because most physical work data is proprietary, and involves too much variability to study in a principled manner. Unlike structured settings such as kitchens and warehouses that have predictable lighting, geometry, and objects, field-facing tasks such as rooftop solar installation and vehicle repair are unconstrained and high variance. Here, we model real-world physical work in Blender across eleven environments, incorporating variants in both image acceptability and documentation. The acceptability task asks whether a particular view would be suitable proof-of-work and documentation asks whether an agent can understand the task-relevant state of the environment from that view. Across 26 vision-language models, we find that top models largely solve documentation when the answer is text in frame, but are weak at reading measurements and at judging small parts and spatial relations, such as whether a tape measure leans. Acceptability is harder to pin down because human raters disagree with each other. Measured against a scorer that agrees with the raters' majority about as often as a single rater does, the best models cannot be distinguished from a single non-author rater, at a cost within the range of a human pass. In the three environments where we can trace acceptability errors, most wrong rejections come from misreading the scene rather than the requirement. On the three documentation questions for which we have real images, model rankings on rendered frames transfer to real images.
• Abstract（参考訳）: 物理的な世界での労働者の能力を高めることは、AIエージェントにとって何十年にもわたっての目標だ。 重要なサポート機能のひとつは、作業者が何をしているかを理解し、人間のカメラやスマートグラスを通して確認し、ドキュメントで支援することである。 視覚言語モデルの進歩にもかかわらず、これらの設定におけるそれらの能力はいまだ不確実であり、ほとんどの物理的作業データはプロプライエタリであり、原則的に研究するには多くのばらつきを伴うため、ベンチマークが困難である。 予測可能な照明、幾何学、オブジェクトを持つキッチンや倉庫のような構造的な設定とは異なり、屋上ソーラーインスタレーションや車両の修理といった現場向けタスクは制約がなく、ばらつきも大きい。 ここでは、11環境にわたるBlenderの現実世界の物理ワークをモデル化し、画像の受容性と文書化の両方にバリエーションを取り入れます。 アクセプタビリティタスクは、特定のビューが適切な作業証明になるかどうかを問うとともに、ドキュメントは、エージェントがそのビューから環境のタスク関連状態を理解することができるかどうかを問う。 26種類の視覚言語モデルにおいて、上位モデルでは、文章がフレーム内のテキストである場合、主に文書を解くが、読み取ることや、テープ測度が傾いているかどうかなど、小さな部分や空間的関係を判断する能力は弱いことが判明した。 人間のラッカーが互いに意見が一致しないため、受容性はピン留めが難しい。 レーダの過半数と1人のレーダと同じ頻度で一致しているスコアラーに対して測定すると、最良のモデルは、人間のパスの範囲内でコストを掛けて、1人の非著者のレーダとは区別できない。 アクセプタビリティエラーをトレースできる3つの環境では、ほとんどの誤った拒絶は、要求ではなくシーンを読み間違えることから生じます。 実際の画像を持つ3つのドキュメンテーション質問では、レンダリングフレーム上のモデルランキングが実際の画像に転送される。

関連論文リスト

• AFUN: Towards an Affordance Foundation Model for Functionality Understanding [12.890216832485647]
  我々は,機能理解のための手頃な基礎モデルに向けたステップとして,我々のモデルを提示する。 我々は、異種ロボット、人間、シミュレーション、現実世界のスキャンデータを共有価格スキーマに変換する大規模な標準化データパイプラインを構築します。 私たちのモデルは、4つのベンチマークから8つのテストセットにまたがる大きなマージンで、すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-06-01T17:50:16Z)
• ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks [33.143423584118516]
  ImagenWorldは6つのコアタスク(生成と編集、単一または複数参照)と6つのトピックドメイン(アートワーク、フォトリアリスティックイメージ、情報グラフィックス、テキストグラフィックス、コンピュータグラフィックス、スクリーンショット)にまたがる3.6K条件セットのベンチマークである。 このベンチマークは20Kの細かい人間のアノテーションと、ローカライズされたオブジェクトレベルとセグメントレベルのエラーをタグ付けする説明可能な評価スキーマによってサポートされている。
  論文  参考訳（メタデータ） (2026-03-29T20:42:05Z)
• How Far Are Vision-Language Models from Constructing the Real World? A Benchmark for Physical Generative Reasoning [20.337890525032858]
  物理生成推論のための新しいベンチマークであるDreamHouseを紹介する。 我々はこのベンチマークを、完全に体系化されたエンジニアリング標準を持つ住宅用木枠構築に基礎を置いている。 最終的なアウトプットのみを評価する静的ベンチマークとは異なり、DreamHouseは反復的なエージェントインタラクションをサポートする。
  論文  参考訳（メタデータ） (2026-03-25T23:13:28Z)
• HGGT: Robust and Flexible 3D Hand Mesh Reconstruction from Uncalibrated Images [81.42866295265443]
  高忠実度3Dハンドジオメトリはコンピュータビジョンにおいて重要な課題である。 スケーラブルなアプリケーションは、正確性とデプロイメントの柔軟性の両方を必要とします。 本研究では、3Dハンドメッシュとカメラのポーズを非校正視点から推定するフィードフォワードアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-03-25T06:54:34Z)
• WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World [100.68103378427567]
  エージェントは現実的な4D駆動環境を合成し、説得力があるように見えるが、物理的または行動的に失敗することが多い。 モデルがどのように構築され、理解され、その生成された世界の中でどのように振る舞うかを評価するフルスペクトルベンチマークであるWorldLensを紹介します。 さらに、数値的なスコアとテキストの合理性を備えた人間の注釈付きビデオの大規模データセット WorldLens-26K を構築し、WorldLens-Agent を開発した。
  論文  参考訳（メタデータ） (2025-12-11T18:59:58Z)
• Referring to Any Person [15.488874769107092]
  既存のモデルは現実のユーザビリティを達成できず、現在のベンチマークは1対1の参照に集中することによって制限される。 我々は、これらの課題に対処し、現実世界のアプリケーションをよりよく反映するように設計された、新しいデータセットであるHumanRefを紹介します。 モデル設計の観点からは、マルチモーダルな大規模言語モデルとオブジェクト検出フレームワークを統合し、RexSeekという名前の堅牢な参照モデルを構築する。
  論文  参考訳（メタデータ） (2025-03-11T14:57:14Z)
• MageBench: Bridging Large Multimodal Models to Agents [90.59091431806793]
  LMMは印象的な視覚的理解能力を示しており、エージェントに適用される可能性がある。 既存のベンチマークは、主に言語部分における推論能力を評価する。 MageBenchは推論機能指向のマルチモーダルエージェントベンチマークである。
  論文  参考訳（メタデータ） (2024-12-05T17:08:19Z)
• BEHAVIOR Vision Suite: Customizable Dataset Generation via Simulation [57.40024206484446]
  我々は、コンピュータビジョンモデルの体系的評価のために、完全にカスタマイズされた合成データを生成するためのツールと資産のセットであるBEHAVIOR Vision Suite(BVS)を紹介する。 BVSはシーンレベルで多数の調整可能なパラメータをサポートする。 アプリケーションシナリオを3つ紹介する。
  論文  参考訳（メタデータ） (2024-05-15T17:57:56Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。