論文の概要: 3D-DefectBench: A Controlled Factorial Study of Vision-Language Model Evaluation Pipelines for Fine-Grained 3D Generation Defects
- arxiv url: http://arxiv.org/abs/2607.10826v1
- Date: Sun, 12 Jul 2026 16:41:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.549675
- Title: 3D-DefectBench: A Controlled Factorial Study of Vision-Language Model Evaluation Pipelines for Fine-Grained 3D Generation Defects
- Title（参考訳）: 3D-DefectBench:細粒化3次元生成欠陥に対する視覚言語モデル評価パイプラインの制御因子解析
- Abstract要約: 本稿では,3次元欠陥検出パイプラインの解析のためのベンチマークおよびフレームワークである3D-DefectBenchを紹介する。
VLM, カメラプロトコル, 視覚入力, プロンプトスキーマの4つのパイプライン要素は, 84の推論設計によって異なる。
12人のVLM審査員のベストは、トレーニングされた人間のラベルをまだ遅れている一方、専門家と契約したラベルをノイズの多いシルバーラベルに置き換えると、テクスチャの合意は急落する。
- 参考スコア（独自算出の注目度）: 17.49934543489464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated evaluation is essential for scaling generative 3D systems, where exhaustive human review is costly and slow. However, the reliability of an automated judge depends on the entire evaluation pipeline, not only the underlying vision-language model (VLM), but also how assets are rendered, what visual evidence is provided, how the task is specified, and how human reference labels are constructed. We introduce 3D-DefectBench, a benchmark and framework for systematic analysis of VLM-based 3D defect detection pipelines. It complements holistic ratings and pairwise preferences with nine fine-grained binary defects spanning geometry, texture, and prompt adherence, providing actionable diagnostics for generator development and judge evaluation. Using a balanced factorial design, we vary four pipeline factors, VLM, camera protocol, visual input, and prompt schema, across 84 inference designs and approximately 3.2 million scored defect decisions, followed by staged validation on a broader set of frontier models. Model choice is the largest determinant of agreement with human labels, but the remaining factors also affect performance, interact with model selection, and can change the best configuration. Within the evaluated design space, a compact six-view RGB protocol performs comparably to denser multi-view settings and inputs augmented with depth or surface normals, making it a strong cost-effective default. Under this standardized pipeline, the best of 12 VLM judges still lag behind trained human labelers, while texture agreement drops sharply when expert-consensus labels are replaced by noisier silver labels. These findings show that automated judges should be evaluated as complete pipelines and calibrated across human reference regimes, rather than benchmarked only as standalone models. We release labels, prompts, predictions, and Croissant metadata on Hugging Face.
- Abstract（参考訳）: 自動評価は、人間の徹底的なレビューが高価で遅い生成3Dシステムのスケーリングに不可欠である。
しかしながら、自動判断器の信頼性は、基礎となる視覚言語モデル(VLM)だけでなく、資産のレンダリング方法、視覚的証拠の提供方法、タスクの指定方法、ヒューマンリファレンスラベルの構築方法など、評価パイプライン全体に依存する。
VLMに基づく欠陥検出パイプラインのシステム解析のためのベンチマークおよびフレームワークである3D-DefectBenchを紹介する。
総論的な評価とペアの選好を補完し、幾何学、テクスチャ、即効性の9つのきめ細かいバイナリ欠陥を補い、ジェネレータの開発と判断のための実用的な診断を提供する。
VLM、カメラプロトコル、ビジュアルインプット、プロンプトスキーマの4つのパイプライン要素は、84の推論設計、約3200万の欠陥判定、そしてより広いフロンティアモデルに対するステージ検証によって異なる。
モデル選択は、人間のラベルとの合意の最大の決定要因であるが、残りの要因は、パフォーマンスにも影響を与え、モデル選択と相互作用し、最高の構成を変更することができる。
評価された設計空間内では、コンパクトな6ビューRGBプロトコルがより密集したマルチビュー設定と、深度や表面の正常さで拡張された入力とを両立させ、コスト効率のよいデフォルトとなる。
この標準化されたパイプラインの下では、12人のVLM審査員のベストは訓練された人間のラベルをまだ遅れている。
これらの結果は、自動判断は独立したモデルとしてのみベンチマークされるのではなく、完全なパイプラインとして評価され、人間の参照レポジトリ間で調整されるべきであることを示している。
Hugging Faceでラベル、プロンプト、予測、Croissantメタデータをリリースしています。
関連論文リスト
- PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
大規模言語モデルは、ますます自律的なエージェントとして機能している。
現在のベンチマークには3つの制限がある。
Evalは、2段階のフレームワークで構築されたベンチマークである。
論文 参考訳（メタデータ） (2026-08-09T13:25:54Z) - UXBench: Measuring the Actionability of LLM-Generated UX Critiques [58.14408744110387]
対話型UX判断器として大規模言語モデル(LLM)を評価するベンチマークであるUXBenchを紹介する。
UXBenchは10の製品表面のファミリーにまたがる、ローカルファーストで実行可能なウェブフィクスチャで構成されており、カバーゲートのルーリック探索と組み合わせている。
8つのフロンティアモデルについて,自動修理作業プロトコルと視覚障害者による検証実験の両方で評価した。
論文 参考訳（メタデータ） (2026-06-15T06:08:39Z) - $μ_0$: A Scalable 3D Interaction-Trace World Model [54.38434730157622]
3次元トレースに基づくスケーラブルな世界モデルを提案する。
我々のTraceExtractシステムは自動的に3Dの監視を抽出する。
これらの結果から,3次元トレーサを拡張性および移動性のあるクロスボデーメント操作の表現として確立した。
論文 参考訳（メタデータ） (2026-06-11T17:59:56Z) - DB-3DME: From Dataset to Benchmark for Human-aligned Automatic 3D Mesh Evaluation [16.60840648468348]
3Dメッシュ評価のためのデータセットとベンチマークであるDB-3DMEを紹介する。
DB-3DMEは2,619個の合成3Dメッシュと、幾何学とプロンプトの整合性に関する人間の評価を組み合わせている。
オープンウェイトなVLMであるQwen-2.5-VL-7Bを、言語モデルを凍結しながら視覚エンコーダを適応させて3次元メッシュ評価のために微調整する。
論文 参考訳（メタデータ） (2026-06-08T20:17:49Z) - DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation [58.47973015036709]
DisPOSEは、本質的に離散的な多視点人物割り当て問題を近似する自己教師型フレームワークである。
特定可能なシンクホーン射影を用いることにより、本モデルは有効かつ実現可能な課題への解の導出を学ぶ。
提案手法は、標準データセット上での最先端の自己教師手法よりも優れている。
論文 参考訳（メタデータ） (2026-06-05T16:14:39Z) - Employing Vision-Language Models for Face Image Quality Assessment [0.023141219541346198]
顔画像品質評価(FIQA)はバイオメトリックパイプラインにおいて重要な制御ステップである。
最先端のFIQA法は高い実用性を達成するが、通常「ブラックボックス」として機能する
ゼロショット環境でFIQAを実行することにより,このギャップを埋めるため,市販のビジョンランゲージモデル(VLM)の可能性を検討する。
論文 参考訳（メタデータ） (2026-05-17T14:57:52Z) - Evaluating Agentic AI in the Wild: Failure Modes, Drift Patterns, and a Production Evaluation Framework [0.0]
生産エージェントシステムに特有の7つの障害モードの分類法を提案する。
標準メトリクスは、7つの障害モードのうち4つを完全に検出することができない。
オープンソースの参照実装を備えた5次元評価フレームワークPAEFを提案する。
論文 参考訳（メタデータ） (2026-05-02T21:02:08Z) - ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。
本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
論文 参考訳（メタデータ） (2026-04-27T10:45:51Z) - Evian: Towards Explainable Visual Instruction-tuning Data Auditing [14.93566912726999]
本稿では,モデル応答を構成的認知要素に分解する「分解的評価」パラダイムを提案する。
このパラダイムを、画像テキスト一貫性、論理コヒーレンス、ファクチュアル正確性の軸に沿ってこれらのコンポーネントを評価する自動化フレームワークであるEVIANを介してインスタンス化する。
論文 参考訳（メタデータ） (2026-04-22T13:28:27Z) - EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。
標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。
EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文 参考訳（メタデータ） (2025-09-16T17:45:39Z) - 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior [62.80458034704989]
切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。
従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。
本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
論文 参考訳（メタデータ） (2024-04-25T11:50:47Z) - VIBUS: Data-efficient 3D Scene Parsing with VIewpoint Bottleneck and
Uncertainty-Spectrum Modeling [2.0624279915507047]
3Dシーン解析モデルの訓練は、興味深い代替手段だ。
このタスクをデータ効率のよい3Dシーン解析と呼ぶ。
そこで本研究では,VIBUSという2段階の有効なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-20T17:59:57Z) - GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty Estimation [70.75100533512021]
本稿では,対象物の潜在的可算有界箱の多様性として,ラベルの不確実性問題を定式化する。
本稿では,条件付き変分オートエンコーダを応用した生成フレームワークであるGLENetを提案する。
GLENetが生成するラベルの不確実性はプラグアンドプレイモジュールであり、既存のディープ3D検出器に便利に統合することができる。
論文 参考訳（メタデータ） (2022-07-06T06:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。