論文の概要: Physically Disentangled Representations
- arxiv url: http://arxiv.org/abs/2204.05281v1
- Date: Mon, 11 Apr 2022 17:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 17:11:31.463437
- Title: Physically Disentangled Representations
- Title(参考訳): 物理的に絡み合った表現
- Authors: Tzofi Klinghoffer, Kushagra Tiwary, Arkadiusz Balata, Vivek Sharma,
Ramesh Raskar
- Abstract要約: 逆レンダリングは、監督なしで、物理的に歪んだシーンの表現を学ぶために使用することができる。
本稿では,下流クラスタリング,線形分類,セグメンテーションタスクの精度を向上させる学習表現における逆レンダリングの有用性を示す。
- 参考スコア(独自算出の注目度): 13.234029150635658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art methods in generative representation learning yield semantic
disentanglement, but typically do not consider physical scene parameters, such
as geometry, albedo, lighting, or camera. We posit that inverse rendering, a
way to reverse the rendering process to recover scene parameters from an image,
can also be used to learn physically disentangled representations of scenes
without supervision. In this paper, we show the utility of inverse rendering in
learning representations that yield improved accuracy on downstream clustering,
linear classification, and segmentation tasks with the help of our novel
Leave-One-Out, Cycle Contrastive loss (LOOCC), which improves disentanglement
of scene parameters and robustness to out-of-distribution lighting and
viewpoints. We perform a comparison of our method with other generative
representation learning methods across a variety of downstream tasks, including
face attribute classification, emotion recognition, identification, face
segmentation, and car classification. Our physically disentangled
representations yield higher accuracy than semantically disentangled
alternatives across all tasks and by as much as 18%. We hope that this work
will motivate future research in applying advances in inverse rendering and 3D
understanding to representation learning.
- Abstract(参考訳): 生成表現学習における最先端の手法は意味的不絡み合いをもたらすが、一般的には幾何学、アルベド、照明、カメラなどの物理的なシーンパラメータを考慮しない。
画像からシーンパラメータを復元するレンダリングプロセスをリバースする方法である逆レンダリングは、監督なしでシーンの物理的に不連続な表現を学習するためにも使用できると仮定する。
本稿では, 下流クラスタリング, 線形分類, セグメンテーションタスクの精度向上に寄与する学習表現における逆レンダリングの有用性を, シーンパラメータのゆがみと, アウト・オブ・ディストリビューション・ライティングや視点へのロバスト性を改善する, 新たなLeave-One-Out, Cycle Contrastive Los (LOOCC) の助けを借りて示す。
我々は,顔属性分類,感情認識,識別,顔セグメント化,車種分類など,さまざまな下流タスクを対象とした他の生成表現学習手法との比較を行った。
物理的に切り離された表現は、すべてのタスクと最大18%の精度で意味的に切り離された代替手段よりも高い精度が得られる。
本研究は,逆レンダリングの進歩と3次元理解を表現学習に適用する上で,今後の研究の動機となることを期待する。
関連論文リスト
- Contrastive Learning of View-Invariant Representations for Facial
Expressions Recognition [27.75143621836449]
コントラスト学習に基づく新しいビュー不変FERフレームワークであるViewFXを提案する。
提案手法を2つの公開多視点顔表情認識データセット上で検証する。
論文 参考訳(メタデータ) (2023-11-12T14:05:09Z) - Hyperbolic Contrastive Learning for Visual Representations beyond
Objects [30.618032825306187]
我々は,それらの間の構造を保ったオブジェクトやシーンの表現を学習することに集中する。
視覚的に類似した物体が表現空間に近接しているという観察に触発された私たちは、シーンとオブジェクトは代わりに階層構造に従うべきだと論じる。
論文 参考訳(メタデータ) (2022-12-01T16:58:57Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳(メタデータ) (2022-09-22T22:27:08Z) - Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。
対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。
本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
論文 参考訳(メタデータ) (2021-11-11T17:59:42Z) - Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。
高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
論文 参考訳(メタデータ) (2021-01-16T23:44:09Z) - Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。
本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
論文 参考訳(メタデータ) (2020-11-24T02:18:08Z) - Unsupervised Learning Facial Parameter Regressor for Action Unit
Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。
提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文 参考訳(メタデータ) (2020-08-20T09:49:13Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳(メタデータ) (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。