論文の概要: Renderers are Good Zero-Shot Representation Learners: Exploring Diffusion Latents for Metric Learning

• arxiv url: http://arxiv.org/abs/2306.10721v1
• Date: Mon, 19 Jun 2023 06:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 18:55:18.635469
• Title: Renderers are Good Zero-Shot Representation Learners: Exploring Diffusion Latents for Metric Learning
• Title（参考訳）: レンダラーは良いゼロショット表現学習者である: メトリクス学習のための拡散潜時探索
• Authors: Michael Tang, David Shustin
• Abstract要約: 我々はShap-Eの潜伏空間の計量学習特性を測定するためのプロキシとして検索を利用する。 その結果,Shap-E表現は従来のEfficientNetベースライン表現のゼロショットよりも優れていた。 これらの結果から、3Dベースのレンダリングと生成モデルにより、自然界における識別的タスクに有用な表現が得られることが示唆された。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can the latent spaces of modern generative neural rendering models serve as representations for 3D-aware discriminative visual understanding tasks? We use retrieval as a proxy for measuring the metric learning properties of the latent spaces of Shap-E, including capturing view-independence and enabling the aggregation of scene representations from the representations of individual image views, and find that Shap-E representations outperform those of the classical EfficientNet baseline representations zero-shot, and is still competitive when both methods are trained using a contrative loss. These findings give preliminary indication that 3D-based rendering and generative models can yield useful representations for discriminative tasks in our innately 3D-native world. Our code is available at \url{https://github.com/michaelwilliamtang/golden-retriever}.
• Abstract（参考訳）: 現代の生成型ニューラルレンダリングモデルの潜在空間は、3d認識による視覚的理解タスクの表現として機能するか? 画像ビューの表現からシーン表現を収集し,シーン表現の集約を可能にすることを含む,Shap-Eの潜伏空間のメートル法学習特性を測定するためのプロキシとして検索を用い,従来のEfficientNetベースライン表現よりも優れたShap-E表現がゼロショットであり,両手法が妨害的損失を用いて訓練された場合でも競争力があることを示す。 これらの結果から、3Dベースのレンダリングと生成モデルにより、自然界における識別的タスクに有用な表現が得られることが示唆された。 我々のコードは \url{https://github.com/michaelwilliamtang/golden-retriever} で利用可能です。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Cross-Dimensional Refined Learning for Real-Time 3D Visual Perception from Monocular Video [2.2299983745857896]
  本稿では3次元シーンの幾何学的構造と意味的ラベルを協調的に知覚する新しいリアルタイム能動的学習法を提案する。 本稿では,3次元メッシュと3次元セマンティックラベリングの両方をリアルタイムに抽出する,エンドツーエンドのクロスディメンテーションニューラルネットワーク(CDRNet)を提案する。
  論文  参考訳（メタデータ） (2023-03-16T11:53:29Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)
• Disentangling Semantic-to-visual Confusion for Zero-shot Learning [13.610995960100869]
  我々はDCR-GAN(Disentangling Class Representation Generative Adrial Network)と呼ばれる新しいモデルを開発する。 DCR-GANは、歪んだ表現から恩恵を受け、見えない特徴と見えない特徴の両方に対して、より現実的な分布に適合する可能性がある。 提案モデルは,4つのベンチマークデータセット上での最先端モデルよりも優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2021-06-16T08:04:11Z)
• Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering [101.56891506498755]
  異なるレンダリングによって、ニューラルネットワークをトレーニングして"逆グラフィックス"タスクを実行する方法が舗装された。 提案手法は,既存のデータセットでトレーニングした最先端の逆グラフネットワークを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-10-18T22:29:07Z)
• Equivariant Neural Rendering [22.95150913645939]
  本稿では,3次元の監督なしに画像から直接ニューラルシーン表現を学習するためのフレームワークを提案する。 我々の重要な洞察は、学習された表現が本物の3Dシーンのように変換されることを保証することで、3D構造を課すことである。 私たちの定式化によって、推論に数分を要するモデルに匹敵する結果を得ながら、リアルタイムでシーンを推測および描画することが可能になります。
  論文  参考訳（メタデータ） (2020-06-13T12:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。