論文の概要: Benchmarking and Learning Multi-Dimensional Quality Evaluator for Text-to-3D Generation
- arxiv url: http://arxiv.org/abs/2412.11170v1
- Date: Sun, 15 Dec 2024 12:41:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:57:25.829015
- Title: Benchmarking and Learning Multi-Dimensional Quality Evaluator for Text-to-3D Generation
- Title（参考訳）: テキストから3次元生成のための多次元品質評価器のベンチマークと学習
- Authors: Yujie Zhang, Bingyang Cui, Qi Yang, Zhu Li, Yiling Xu,
- Abstract要約: 近年,テキスト・ツー・3D生成は目覚ましい進歩を遂げているが,これらの手法の評価はいまだに困難である。
既存のベンチマークには、異なるプロンプトカテゴリと評価次元に関するきめ細かい評価が欠けている。
まず,MATE-3Dという総合ベンチマークを提案する。
ベンチマークには、単一のオブジェクト生成と複数のオブジェクト生成をカバーする、よく設計された8つのプロンプトカテゴリが含まれており、結果として1,280のテクスチャメッシュが生成される。
- 参考スコア（独自算出の注目度）: 26.0726219629689
- License:
- Abstract: Text-to-3D generation has achieved remarkable progress in recent years, yet evaluating these methods remains challenging for two reasons: i) Existing benchmarks lack fine-grained evaluation on different prompt categories and evaluation dimensions. ii) Previous evaluation metrics only focus on a single aspect (e.g., text-3D alignment) and fail to perform multi-dimensional quality assessment. To address these problems, we first propose a comprehensive benchmark named MATE-3D. The benchmark contains eight well-designed prompt categories that cover single and multiple object generation, resulting in 1,280 generated textured meshes. We have conducted a large-scale subjective experiment from four different evaluation dimensions and collected 107,520 annotations, followed by detailed analyses of the results. Based on MATE-3D, we propose a novel quality evaluator named HyperScore. Utilizing hypernetwork to generate specified mapping functions for each evaluation dimension, our metric can effectively perform multi-dimensional quality assessment. HyperScore presents superior performance over existing metrics on MATE-3D, making it a promising metric for assessing and improving text-to-3D generation. The project is available at https://mate-3d.github.io/.
- Abstract（参考訳）: テキスト・ツー・3D生成は近年顕著な進歩を遂げているが、これらの手法の評価には2つの理由がある。
一 既存のベンチマークは、異なるプロンプトカテゴリ及び評価寸法についてきめ細かい評価をしていない。
二 従来の評価基準は、単一の側面(例えば、テキスト3Dアライメント)にのみ焦点を合わせ、多次元品質評価を行なわなかったこと。
これらの問題に対処するために、まずMATE-3Dという包括的なベンチマークを提案する。
ベンチマークには、単一のオブジェクト生成と複数のオブジェクト生成をカバーする、よく設計された8つのプロンプトカテゴリが含まれており、結果として1,280のテクスチャメッシュが生成される。
我々は4つの異なる評価次元から大規模な主観的実験を行い、107,520のアノテーションを収集し、その結果を詳細に分析した。
MATE-3Dに基づいて,HyperScoreという新しい品質評価器を提案する。
評価次元ごとの特定マッピング関数を生成するためにハイパーネットワークを利用することで、我々の計量は多次元品質評価を効果的に行うことができる。
HyperScoreは、MATE-3Dの既存のメトリクスよりも優れたパフォーマンスを示し、テキストから3D生成を評価し改善するための有望な指標である。
このプロジェクトはhttps://mate-3d.github.io/.comで公開されている。
関連論文リスト
- GT23D-Bench: A Comprehensive General Text-to-3D Generation Benchmark [111.81516104467039]
GT23D-Benchは、General Text-to-3D (GT23D)の最初の包括的なベンチマークである
我々のデータセットは、各3Dオブジェクトに64ビューの深度マップ、正規マップ、レンダリング画像、粗大なキャプションをアノテートする。
本手法は, テクスチャの忠実度, マルチビューの整合性, 幾何学的正当性を考慮した3次元視覚品質と, 多粒度視覚的3次元表現とのテキストアライメントを測定する。
論文 参考訳（メタデータ） (2024-12-13T09:32:08Z) - 3DGCQA: A Quality Assessment Database for 3D AI-Generated Contents [50.730468291265886]
本稿では,テキスト・ツー・3D生成手法を用いて構築した新しい3DGC品質評価データセットである3DGCQAを提案する。
可視化によって、生成された3DGCに6つの共通の歪みカテゴリが存在することが直感的に明らかになる。
主観的品質評価は評価者によって行われ、その評価は異なる生成方法における品質の顕著な変動を示す。
いくつかの客観的品質評価アルゴリズムが3DGCQAデータセットでテストされている。
論文 参考訳（メタデータ） (2024-09-11T12:47:40Z) - TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳（メタデータ） (2024-07-08T13:28:47Z) - MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。
結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
論文 参考訳（メタデータ） (2024-06-13T17:59:30Z) - T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation [52.029698642883226]
テキストから3Dへの手法は、強力な事前学習拡散モデルを利用してNeRFを最適化する。
ほとんどの研究は、主観的なケーススタディとユーザ実験で結果を評価している。
最初の総合的なテキスト・ツー・3DベンチマークであるT$3$Benchを紹介する。
論文 参考訳（メタデータ） (2023-10-04T17:12:18Z) - From 2D to 3D: Re-thinking Benchmarking of Monocular Depth Prediction [80.67873933010783]
我々は,MDPが現在,3Dアプリケーションにおける予測の有用性を評価するのに有効な指標に頼っていることを論じる。
これにより、2Dベースの距離を最適化するのではなく、シーンの3D構造を正確に認識し、推定に向けて改善する新しい手法の設計と開発が制限される。
本稿では,MDP手法の3次元幾何評価に適した指標セットと,提案手法に不可欠な室内ベンチマークRIO-D3Dを提案する。
論文 参考訳（メタデータ） (2022-03-15T17:50:54Z) - Subjective and Objective Visual Quality Assessment of Textured 3D Meshes [3.738515725866836]
本稿では,2つの比較プロトコルを用いて,テクスチャメッシュの知覚的品質を評価するための新しい主観的研究を提案する。
テクスチャメッシュの視覚的品質評価のための2つの新しい指標を提案する。
論文 参考訳（メタデータ） (2021-02-08T03:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。