論文の概要: Generative Learning of Differentiable Object Models for Compositional Interpretation of Complex Scenes

• arxiv url: http://arxiv.org/abs/2506.08191v1
• Date: Mon, 09 Jun 2025 20:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.662418
• Title: Generative Learning of Differentiable Object Models for Compositional Interpretation of Complex Scenes
• Title（参考訳）: 複合場面の合成解釈のための微分対象モデルの生成学習
• Authors: Antoni Nowinowski, Krzysztof Krawiec,
• Abstract要約: この研究は、DVP(Disentangler of Visual Priors)のアーキテクチャに基づく。 DVPは、認識された物体を、形状、大きさ、配向、色見性の独立した視覚的側面に分解することで、シーンを解釈することを学ぶ。
• 参考スコア（独自算出の注目度）: 0.20718016474717196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study builds on the architecture of the Disentangler of Visual Priors (DVP), a type of autoencoder that learns to interpret scenes by decomposing the perceived objects into independent visual aspects of shape, size, orientation, and color appearance. These aspects are expressed as latent parameters which control a differentiable renderer that performs image reconstruction, so that the model can be trained end-to-end with gradient using reconstruction loss. In this study, we extend the original DVP so that it can handle multiple objects in a scene. We also exploit the interpretability of its latent by using the decoder to sample additional training examples and devising alternative training modes that rely on loss functions defined not only in the image space, but also in the latent space. This significantly facilitates training, which is otherwise challenging due to the presence of extensive plateaus in the image-space reconstruction loss. To examine the performance of this approach, we propose a new benchmark featuring multiple 2D objects, which subsumes the previously proposed Multi-dSprites dataset while being more parameterizable. We compare the DVP extended in these ways with two baselines (MONet and LIVE) and demonstrate its superiority in terms of reconstruction quality and capacity to decompose overlapping objects. We also analyze the gradients induced by the considered loss functions, explain how they impact the efficacy of training, and discuss the limitations of differentiable rendering in autoencoders and the ways in which they can be addressed.
• Abstract（参考訳）: 本研究は,認識対象を形状,大きさ,配向,色彩の独立した視覚的側面に分解することで,シーンの解釈を学習する自動エンコーダDVP(Disentangler of Visual Priors)のアーキテクチャを構築した。 これらの側面は、画像再構成を行う微分可能なレンダラーを制御する潜在パラメータとして表現され、再構成損失を用いて、モデルを勾配でエンドツーエンドに訓練することができる。 本研究では、元のDVPを拡張して、シーン内の複数のオブジェクトを扱えるようにする。 また、デコーダを用いて追加のトレーニング例をサンプリングし、画像空間だけでなく、潜伏空間でも定義された損失関数に依存する代替トレーニングモードを考案することで、潜伏状態の解釈可能性も活用する。 これは、画像空間の再構築損失に広範な台地が存在するため、トレーニングを著しく促進する。 提案手法の有効性を検討するため,提案するマルチdSpritesデータセットをパラメータ化可能とし,複数の2Dオブジェクトを特徴とする新しいベンチマークを提案する。 これらの方法で拡張されたDVPを、2つのベースライン(MonetとLIVE)と比較し、重複するオブジェクトを分解する再構成品質と能力の観点からその優位性を示す。 また、損失関数によって引き起こされる勾配を解析し、それらがトレーニングの効果にどのように影響するかを説明し、オートエンコーダにおける微分可能レンダリングの限界とその対処方法について議論する。

関連論文リスト

• Detection Based Part-level Articulated Object Reconstruction from Single RGBD Image [52.11275397911693]
  本稿では,1枚のRGBD画像から複数の人工関節オブジェクトを再構成する,エンドツーエンドで訓練可能なクロスカテゴリ手法を提案する。 私たちは、あらかじめ定義された部分数で人工的なオブジェクトに焦点をあて、インスタンスレベルの潜在空間を学習することに依存する以前の作業から離れています。 提案手法は, 従来の作業では処理できない様々な構成された複数インスタンスの再構築に成功し, 形状再構成や運動学推定において, 先行の作業よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-04T05:08:04Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• Parametric Depth Based Feature Representation Learning for Object Detection and Segmentation in Bird's Eye View [44.78243406441798]
  本稿では,このような特徴変換をモデル化するために,深度などの幾何学的情報を活用することに焦点を当てる。 まず2次元画像の特徴を,各ビューの画素ごとのパラメトリック深度分布を予測して,エゴ車に定義された3次元空間に引き上げる。 次に、深度からBEVフレームへの3次元空間占有度に基づいて、3次元特徴体積を集約する。
  論文  参考訳（メタデータ） (2023-07-09T06:07:22Z)
• CbwLoss: Constrained Bidirectional Weighted Loss for Self-supervised Learning of Depth and Pose [13.581694284209885]
  光度差は、未ラベルのモノクロビデオから深度とカメラのポーズを推定するためにニューラルネットワークを訓練するために使用される。 本稿では,アフィン変換とビュー合成によって生じる流れ場と深さ構造の違いを利用して,移動物体とオクルージョンを取り扱う。 ネットワークを追加することなく、より意味的な情報と文脈的な情報を持つ特徴の差を測定することにより、テクスチャレス領域がモデル最適化に与える影響を緩和する。
  論文  参考訳（メタデータ） (2022-12-12T12:18:24Z)
• RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
  既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。 提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:51Z)
• Contrastive Object-level Pre-training with Spatial Noise Curriculum Learning [12.697842097171119]
  本稿では,生成した領域を適応的に拡張するカリキュラム学習機構を提案する。 実験の結果,マルチオブジェクトシーンイメージデータセットの事前学習において,MoCo v2のベースラインに対するアプローチは,複数のオブジェクトレベルタスクに対して大きなマージンで改善されていることがわかった。
  論文  参考訳（メタデータ） (2021-11-26T18:29:57Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。