論文の概要: One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering
- arxiv url: http://arxiv.org/abs/2212.00648v1
- Date: Thu, 1 Dec 2022 16:49:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 16:21:29.091043
- Title: One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering
- Title(参考訳): コントラスト学習と物理レンダリングを用いた任意の物体のワンショット認識
- Authors: Manuel S. Drehwald (3), Sagi Eppel (1 and 2 and 4), Jolina Li (2 and
4), Han Hao (2), Alan Aspuru-Guzik (1 and 2) ((1) Vector institute, (2)
University of Toronto, (3) Karlsruhe Institute of Technology, (4) Innoviz)
- Abstract要約: 材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present MatSim: a synthetic dataset, a benchmark, and a method for
computer vision based recognition of similarities and transitions between
materials and textures, focusing on identifying any material under any
conditions using one or a few examples (one-shot learning). The visual
recognition of materials is essential to everything from examining food while
cooking to inspecting agriculture, chemistry, and industrial products. In this
work, we utilize giant repositories used by computer graphics artists to
generate a new CGI dataset for material similarity. We use physics-based
rendering (PBR) repositories for visual material simulation, assign these
materials random 3D objects, and render images with a vast range of backgrounds
and illumination conditions (HDRI). We add a gradual transition between
materials to support applications with a smooth transition between states (like
gradually cooked food). We also render materials inside transparent containers
to support beverage and chemistry lab use cases. We then train a contrastive
learning network to generate a descriptor that identifies unfamiliar materials
using a single image. We also present a new benchmark for a few-shot material
recognition that contains a wide range of real-world examples, including the
state of a chemical reaction, rotten/fresh fruits, states of food, different
types of construction materials, types of ground, and many other use cases
involving material states, transitions and subclasses. We show that a network
trained on the MatSim synthetic dataset outperforms state-of-the-art models
like Clip on the benchmark, despite being tested on material classes that were
not seen during training. The dataset, benchmark, code and trained models are
available online.
- Abstract(参考訳): matsim: 材料とテクスチャの類似性と遷移をコンピュータビジョンベースで認識する合成データセット、ベンチマーク、および方法を提案する。1つまたは数個の例(ワンショット学習)を用いて、任意の条件下で任意の素材を識別することにフォーカスする。
材料の視覚的な認識は、調理中の食品の検査から農業、化学、工業製品の検査まで、あらゆるものにとって不可欠である。
本研究では,コンピュータグラフィックスアーティストが使用する巨大リポジトリを用いて,材料類似性のための新しいCGIデータセットを作成する。
我々は物理ベースレンダリング(PBR)レポジトリを用いて視覚材料シミュレーションを行い、これらの材料をランダムな3Dオブジェクトに割り当て、背景と照明条件の広い画像をレンダリングする。
材料間の段階的な遷移を加えて、状態間のスムーズな遷移を支援する(徐々に調理される食品のように)。
また、透明容器内に材料をレンダリングして飲料や化学実験室のユースケースをサポートします。
次に, コントラスト学習ネットワークを訓練し, 1つの画像を用いて不慣れな資料を識別する記述子を生成する。
また, 化学反応の状態, 腐った果実, 食品の状態, 建設材料の種類, 地盤の種類, および物質状態, 遷移, サブクラスを含む多くのユースケースを含む, 幅広い実世界の実例を含む, 数発の物質認識のための新しいベンチマークを提示する。
MatSim合成データセットでトレーニングされたネットワークは、トレーニング中に見られなかった物質クラスでテストされているにもかかわらず、ベンチマークでClipのような最先端のモデルを上回っていることを示す。
データセット、ベンチマーク、コード、トレーニングされたモデルはオンラインで利用可能だ。
関連論文リスト
- Learning Zero-Shot Material States Segmentation, by Implanting Natural
Image Patterns in Synthetic Data [0.606487980401116]
自然画像から抽出したパターンを用いて、素材を合成シーンにマッピングする方法を示す。
また、クラス非依存の物質状態セグメンテーションのための最初の一般的なベンチマークを示す。
ここでは,MatchSeg 上のネット列車が既存の最先端手法を著しく上回っていることを示す。
論文 参考訳(メタデータ) (2024-03-05T20:21:49Z) - Alchemist: Parametric Control of Material Properties with Diffusion
Models [51.63031820280475]
本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
論文 参考訳(メタデータ) (2023-12-05T18:58:26Z) - Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。
第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
論文 参考訳(メタデータ) (2023-11-28T18:59:58Z) - MatFuse: Controllable Material Generation with Diffusion Models [10.993516790237503]
MatFuseは3D素材の作成と編集に拡散モデルの生成力を利用する統一的なアプローチである。
本手法は,カラーパレット,スケッチ,テキスト,画像など,複数のコンディショニング源を統合し,創造性を向上する。
複数の条件設定下でのMatFuseの有効性を実証し,材料編集の可能性を探る。
論文 参考訳(メタデータ) (2023-08-22T12:54:48Z) - PhotoMat: A Material Generator Learned from Single Flash Photos [37.42765147463852]
既存の材料生成モデルは、合成データにのみ訓練されている。
私たちは、携帯電話カメラとフラッシュで撮影したサンプルの実際の写真に特化して訓練された、最初の素材ジェネレータPhotoMatを提案する。
生成した材料は、従来の合成データで訓練された材料ジェネレータよりも視覚的品質がよいことを示す。
論文 参考訳(メタデータ) (2023-05-20T22:27:41Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳(メタデータ) (2021-12-09T18:59:21Z) - Advances in Neural Rendering [115.05042097988768]
本稿では,古典的レンダリングと学習された3Dシーン表現を組み合わせた手法について述べる。
これらの手法の重要な利点は、これらが3D一貫性を持ち、キャプチャされたシーンの新たな視点のようなアプリケーションを可能にすることである。
静的なシーンを扱う方法に加えて、非厳密な変形オブジェクトをモデル化するためのニューラルシーン表現についても取り上げる。
論文 参考訳(メタデータ) (2021-11-10T18:57:01Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳(メタデータ) (2021-04-08T17:59:58Z) - The joint role of geometry and illumination on material recognition [16.01513204879645]
幾何学,照明,空間周波数の相互作用が物質認識タスクにおける人間のパフォーマンスに与える影響について検討した。
材料認識に関する深いニューラルネットワークをトレーニングし、材料を正確に分類します。
論文 参考訳(メタデータ) (2021-01-07T11:29:52Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳(メタデータ) (2020-09-01T19:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。