論文の概要: MatPredict: a dataset and benchmark for learning material properties of diverse indoor objects
- arxiv url: http://arxiv.org/abs/2505.13201v1
- Date: Mon, 19 May 2025 14:54:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.670837
- Title: MatPredict: a dataset and benchmark for learning material properties of diverse indoor objects
- Title（参考訳）: MatPredict: 多様な屋内オブジェクトの材料特性を学習するためのデータセットとベンチマーク
- Authors: Yuzhen Chen, Hojun Son, Arpan Kusari,
- Abstract要約: MatPredictは、Replicaデータセットの高品質な合成オブジェクトとMat Synthのマテリアルプロパティクラスを組み合わせたデータセットである。
我々は、特定の前景オブジェクトの3Dメッシュを選択し、異なる材料特性でそれらをレンダリングする。
異なる物質との光相互作用を正確にシミュレートすることで、我々は現実性を高めることができる。
- 参考スコア（独自算出の注目度）: 2.201843972706244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Determining material properties from camera images can expand the ability to identify complex objects in indoor environments, which is valuable for consumer robotics applications. To support this, we introduce MatPredict, a dataset that combines the high-quality synthetic objects from Replica dataset with MatSynth dataset's material properties classes - to create objects with diverse material properties. We select 3D meshes of specific foreground objects and render them with different material properties. In total, we generate \textbf{18} commonly occurring objects with \textbf{14} different materials. We showcase how we provide variability in terms of lighting and camera placement for these objects. Next, we provide a benchmark for inferring material properties from visual images using these perturbed models in the scene, discussing the specific neural network models involved and their performance based on different image comparison metrics. By accurately simulating light interactions with different materials, we can enhance realism, which is crucial for training models effectively through large-scale simulations. This research aims to revolutionize perception in consumer robotics. The dataset is provided \href{https://huggingface.co/datasets/UMTRI/MatPredict}{here} and the code is provided \href{https://github.com/arpan-kusari/MatPredict}{here}.
- Abstract（参考訳）: カメラ画像から材料特性を決定することで、屋内環境における複雑な物体を識別することができる。
これをサポートするために、Replicaデータセットの高品質な合成オブジェクトとMatSynthデータセットのマテリアルプロパティクラスを組み合わせたデータセットであるMatPredictを導入し、さまざまなマテリアルプロパティを持つオブジェクトを作成する。
我々は、特定の前景オブジェクトの3Dメッシュを選択し、異なる材料特性でそれらをレンダリングする。
総じて、 \textbf{18} は \textbf{14} の異なる材料で一般的に発生する対象を生成する。
これらのオブジェクトに対して,照明やカメラの配置に関して,多様性を提供する方法について紹介する。
次に、シーン内のこれらの摂動モデルを用いて、視覚画像から物質特性を推定するためのベンチマークを行い、異なる画像比較指標に基づいて、関連する特定のニューラルネットワークモデルとその性能について議論する。
異なる物質との光の相互作用を正確にシミュレートすることで、大規模なシミュレーションを通じて効果的にモデルを訓練するために重要な現実性を高めることができる。
この研究は、消費者ロボティクスにおける認識に革命をもたらすことを目的としている。
データセットは \href{https://huggingface.co/datasets/UMTRI/MatPredict}{here} を提供し、コードは \href{https://github.com/arpan-kusari/MatPredict}{here} を提供する。
関連論文リスト
- IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。
マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。
次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
論文 参考訳（メタデータ） (2025-04-09T12:36:48Z) - MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。
このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文 参考訳（メタデータ） (2024-04-22T07:00:17Z) - Alchemist: Parametric Control of Material Properties with Diffusion
Models [51.63031820280475]
本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
論文 参考訳（メタデータ） (2023-12-05T18:58:26Z) - SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal
Instance Segmentation of Cluttered Tabletop Scenes [2.8661021832561757]
我々はNVIDIAのIsaac Sim Replicator Composerを使って構築されたPythonベースのデータセットジェネレータであるSynTableを紹介する。
私たちのデータセット生成ツールは、オブジェクトメッシュ、材料、テクスチャ、照明、背景を含む複雑な3Dシーンをレンダリングすることができます。
レイトレーシングによりSynTableを用いて生成されたサンプルデータセットを用いて、最先端モデルであるUOAIS-Netのトレーニングを行う。
論文 参考訳（メタデータ） (2023-07-14T13:24:42Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳（メタデータ） (2022-12-01T16:49:53Z) - FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments [21.393674766169543]
本稿では,オブジェクト認識のためのFew-Shot Object Learningデータセットについて紹介する。
私たちは、異なる視点から、オブジェクトごとに9つのRGB-D画像を持つ336の現実世界のオブジェクトをキャプチャしました。
評価結果から, ロボット環境下では, 数発の物体分類において, 改良の余地がまだ大きいことが示唆された。
論文 参考訳（メタデータ） (2022-07-06T05:57:24Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳（メタデータ） (2021-05-07T03:49:26Z) - Detection and Segmentation of Custom Objects using High Distraction
Photorealistic Synthetic Data [0.5076419064097732]
合成データを用いてインスタンスセグメンテーションを行うための簡便で有用な手法を示す。
目標は、カスタムオブジェクトの実際のデータを手動で収集し、注釈付けすることで、高いパフォーマンスを達成することである。
このホワイトペーパーは、光実写シミュレーションデータが現実の応用に利用できるという強い証拠を提供する。
論文 参考訳（メタデータ） (2020-07-28T16:33:42Z) - OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene
Datasets [103.54691385842314]
本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。
私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。
これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
論文 参考訳（メタデータ） (2020-07-25T06:48:47Z) - RELATE: Physically Plausible Multi-Object Scene Synthesis Using
Structured Latent Spaces [77.07767833443256]
RELATEは、複数の対話オブジェクトの物理的に可視なシーンとビデオを生成することを学習するモデルである。
オブジェクト中心生成モデリングにおける最先端の手法とは対照的に、RELATEは自然に動的なシーンに拡張し、高い視覚的忠実度のビデオを生成する。
論文 参考訳（メタデータ） (2020-07-02T17:27:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。