論文の概要: 3D Arena: An Open Platform for Generative 3D Evaluation
- arxiv url: http://arxiv.org/abs/2506.18787v1
- Date: Mon, 23 Jun 2025 15:57:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 19:06:37.069538
- Title: 3D Arena: An Open Platform for Generative 3D Evaluation
- Title(参考訳): 3D Arena: 生成3D評価のためのオープンプラットフォーム
- Authors: Dylan Ebert,
- Abstract要約: 3D Arenaは、ジェネレーティブ3Dモデルを評価するためのオープンプラットフォームである。
19の最先端モデルのうち8,096人のユーザーから123,243票を集めている。
我々は、この嗜好データの分析を通して、人間の嗜好パターンに対する洞察を示す。
- 参考スコア(独自算出の注目度): 1.450405446885067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating Generative 3D models remains challenging due to misalignment between automated metrics and human perception of quality. Current benchmarks rely on image-based metrics that ignore 3D structure or geometric measures that fail to capture perceptual appeal and real-world utility. To address this gap, we present 3D Arena, an open platform for evaluating image-to-3D generation models through large-scale human preference collection using pairwise comparisons. Since launching in June 2024, the platform has collected 123,243 votes from 8,096 users across 19 state-of-the-art models, establishing the largest human preference evaluation for Generative 3D. We contribute the iso3d dataset of 100 evaluation prompts and demonstrate quality control achieving 99.75% user authenticity through statistical fraud detection. Our ELO-based ranking system provides reliable model assessment, with the platform becoming an established evaluation resource. Through analysis of this preference data, we present insights into human preference patterns. Our findings reveal preferences for visual presentation features, with Gaussian splat outputs achieving a 16.6 ELO advantage over meshes and textured models receiving a 144.1 ELO advantage over untextured models. We provide recommendations for improving evaluation methods, including multi-criteria assessment, task-oriented evaluation, and format-aware comparison. The platform's community engagement establishes 3D Arena as a benchmark for the field while advancing understanding of human-centered evaluation in Generative 3D.
- Abstract(参考訳): 自動メトリクスと品質に対する人間の認識の相違により、生成3Dモデルの評価は依然として困難である。
現在のベンチマークでは、3D構造を無視した画像ベースのメトリクスや、知覚的魅力と現実世界の実用性を捉えない幾何学的測定に頼っている。
このギャップに対処するため、3D Arenaを提案する。この3D Arenaは、画像から3Dまでの生成モデルを評価するためのオープンなプラットフォームである。
2024年6月のローンチ以来、同プラットフォームは19の最先端モデルの8,096人のユーザーから123,243票を集め、Generative 3Dの人間の好み評価で最大のものとなった。
評価プロンプト100件のiso3dデータセットをコントリビュートし,統計的不正検出により99.75%のユーザ認証を実現する品質制御を実証する。
ELOをベースとしたランキングシステムでは,プラットフォームが確立された評価資源となるとともに,信頼性の高いモデルアセスメントが実現されている。
この選好データの解析を通じて、人間の選好パターンに関する洞察を提示する。
メッシュよりも16.6ELO,テクスチャモデルでは144.1ELO,非テクスチャモデルでは144.1ELOが有効であった。
本稿では,マルチ基準評価,タスク指向評価,フォーマット認識比較など,評価方法の改善を推奨する。
プラットフォームコミュニティの関与は、ジェネレーティブ3Dにおける人間中心の評価の理解を深めながら、フィールドのベンチマークとして3Dアリーナを確立する。
関連論文リスト
- E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。
GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。
我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。
すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
論文 参考訳(メタデータ) (2025-06-02T17:53:09Z) - Eval3D: Interpretable and Fine-grained Evaluation for 3D Generation [134.53804996949287]
生成した3D資産の品質を忠実に評価できる細粒度で解釈可能な評価ツールであるEval3Dを紹介する。
我々のキーとなる観察は、意味論や幾何学的整合性といった3D生成の多くの望ましい特性を効果的に捉えられることである。
以前の研究と比較すると、Eval3Dはピクセル単位での測定を行い、正確な3D空間フィードバックを可能にし、人間の判断とより密に一致させる。
論文 参考訳(メタデータ) (2025-04-25T17:22:05Z) - 3DGen-Bench: Comprehensive Benchmark Suite for 3D Generative Models [94.48803082248872]
3D世代は急速に進歩しているが、3D評価の開発はペースを保っていない。
大規模人選好データセット3DGen-Benchを開発した。
次に、CLIPベースのスコアモデルである3DGen-ScoreとMLLMベースの自動評価器である3DGen-Evalを訓練する。
論文 参考訳(メタデータ) (2025-03-27T17:53:00Z) - Inference Stage Optimization for Cross-scenario 3D Human Pose Estimation [97.93687743378106]
既存の3Dポーズ推定モデルは、目に見えないポーズを持つ新しいシナリオに適用する場合、パフォーマンス低下を被る。
本稿では、3次元ポーズモデルの一般化性を改善するための新しいフレームワークである推論段階最適化(ISO)を提案する。
注目すべきは、MPI-INF-3DHPで83.6%の最先端の3D PCKが得られることだ。
論文 参考訳(メタデータ) (2020-07-04T09:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。