論文の概要: Generating unseen complex scenes: are we there yet?

• arxiv url: http://arxiv.org/abs/2012.04027v1
• Date: Mon, 7 Dec 2020 20:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:51:56.678210
• Title: Generating unseen complex scenes: are we there yet?
• Title（参考訳）: 目に見えない複雑なシーンを作り出す:まだそこにいるのか?
• Authors: Arantxa Casanova, Michal Drozdzal, Adriana Romero-Soriano
• Abstract要約: 複雑なシーン条件生成モデルを比較する手法を提案する。 我々は,近年の手法が条件付きで認識可能なシーンを生成可能であることを観察した。 しかし,全ての手法は,未知の物体の組み合わせからなる条件付けから画像を生成するよう依頼された際に,画像の品質劣化に悩まされる。
• 参考スコア（独自算出の注目度）: 9.42132615839177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although recent complex scene conditional generation models generate increasingly appealing scenes, it is very hard to assess which models perform better and why. This is often due to models being trained to fit different data splits, and defining their own experimental setups. In this paper, we propose a methodology to compare complex scene conditional generation models, and provide an in-depth analysis that assesses the ability of each model to (1) fit the training distribution and hence perform well on seen conditionings, (2) to generalize to unseen conditionings composed of seen object combinations, and (3) generalize to unseen conditionings composed of unseen object combinations. As a result, we observe that recent methods are able to generate recognizable scenes given seen conditionings, and exploit compositionality to generalize to unseen conditionings with seen object combinations. However, all methods suffer from noticeable image quality degradation when asked to generate images from conditionings composed of unseen object combinations. Moreover, through our analysis, we identify the advantages of different pipeline components, and find that (1) encouraging compositionality through instance-wise spatial conditioning normalizations increases robustness to both types of unseen conditionings, (2) using semantically aware losses such as the scene-graph perceptual similarity helps improve some dimensions of the generation process, and (3) enhancing the quality of generated masks and the quality of the individual objects are crucial steps to improve robustness to both types of unseen conditionings.
• Abstract（参考訳）: 最近の複雑なシーン条件生成モデルは、ますます魅力的なシーンを生み出すが、どのモデルがよりよく機能するか、なぜかを評価するのは非常に困難である。 これはしばしば、異なるデータ分割に適合するように訓練されたモデルと、独自の実験的なセットアップを定義するためである。 本稿では,複雑なシーン条件生成モデルを比較する手法を提案し,(1)トレーニング分布に適合する各モデルの能力を評価して,(2)見えないオブジェクトの組み合わせからなる未知の条件付けを一般化し,(3)見えないオブジェクトの組み合わせからなる未知の条件付けを一般化する手法を提案する。 その結果,近年の手法では視認可能なシーンを,視認可能なコンディショニングを生成でき,コンフィグナリティを利用して,視認できないコンディショニングに一般化できることがわかった。 しかし,全ての手法は,未知の物体の組み合わせからなる条件付けから画像を生成するよう依頼された際に,画像の品質劣化に悩まされる。 Moreover, through our analysis, we identify the advantages of different pipeline components, and find that (1) encouraging compositionality through instance-wise spatial conditioning normalizations increases robustness to both types of unseen conditionings, (2) using semantically aware losses such as the scene-graph perceptual similarity helps improve some dimensions of the generation process, and (3) enhancing the quality of generated masks and the quality of the individual objects are crucial steps to improve robustness to both types of unseen conditionings.

関連論文リスト

• Towards Robust and Expressive Whole-body Human Pose and Shape Estimation [51.457517178632756]
  全体のポーズと形状の推定は、単眼画像から人体全体の異なる振る舞いを共同で予測することを目的としている。 既存の手法では、既存のシナリオの複雑さの下で、しばしば劣化したパフォーマンスを示す。 全身のポーズと形状推定の堅牢性を高める新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-14T08:17:42Z)
• ObjectStitch: Generative Object Compositing [43.206123360578665]
  本研究では,条件付き拡散モデルを用いたオブジェクト合成のための自己教師型フレームワークを提案する。 我々のフレームワークは、手動ラベリングを必要とせず、生成したオブジェクトの視点、幾何学、色、影を変換することができる。 本手法は, 実世界の様々な画像に対するユーザ研究において, 合成結果画像の写実性と忠実性の両方において, 関連ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-12-02T02:15:13Z)
• NeuForm: Adaptive Overfitting for Neural Shape Editing [67.16151288720677]
  我々は,各形状領域に最も適した表現を適応的に使用することにより,過度に適合した表現と一般化可能な表現の両方の利点を組み合わせるために,NEUFORMを提案する。 椅子やテーブル,ランプなど,人間が設計した形状のパーツの再構成に成功した編集を実演する。 2つの最先端のコンペティタを比較し、その結果の妥当性と忠実さに関して、明確な改善を実証する。
  論文  参考訳（メタデータ） (2022-07-18T19:00:14Z)
• Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance Consistency [59.427074701985795]
  単一ビューの再構築は通常、視点アノテーション、シルエット、背景の欠如、同じインスタンスの複数のビュー、テンプレートの形状、対称性に依存する。 異なるオブジェクトインスタンスのイメージ間の一貫性を明確に活用することで、これらの監督と仮説をすべて回避します。 i)プログレッシブ・コンディショニング(プログレッシブ・コンディショニング)、(ii)類似の形状やテクスチャを持つインスタンス間の一貫性の喪失、(ii)モデルのカテゴリからインスタンスへと徐々に専門化するためのトレーニング戦略。
  論文  参考訳（メタデータ） (2022-04-21T17:47:35Z)
• Practical Stereo Matching via Cascaded Recurrent Network with Adaptive Correlation [27.58146853633412]
  本稿では,実用的なステレオマッチングの問題に対処する革新的な設計法を提案する。 この結果は、MiddleburyベンチマークとETH3Dベンチマークの両方で1位にランクされている。
  論文  参考訳（メタデータ） (2022-03-22T06:20:25Z)
• CoSformer: Detecting Co-Salient Object with Transformers [2.3148470932285665]
  Co-Salient Object Detection (CoSOD) は、人間の視覚システムをシミュレートして、関連する画像のグループから共通および重度のオブジェクトを発見することを目的としています。 複数の画像から高精細かつ一般的な視覚パターンを抽出するCo-Salient Object Detection Transformer (CoSformer) ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-04-30T02:39:12Z)
• IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
  IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。 我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。 IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
  論文  参考訳（メタデータ） (2021-04-13T02:00:24Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)
• Towards causal generative scene models via competition of experts [26.181132737834826]
  生成モデル(エキスパート)のアンサンブルを訓練することでモジュラリティを促進させる帰納的バイアスを用いた代替手法を提案する。 トレーニング中、専門家はシーンの一部を説明するために競い合い、それによって異なるオブジェクトクラスを専門とし、オブジェクトは複数のシーンにまたがる部分として認識される。 我々のモデルは、個々のオブジェクトの制御可能なサンプリングと、物理的に妥当な方法で専門家の再結合を可能にします。
  論文  参考訳（メタデータ） (2020-04-27T16:10:04Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。