論文の概要: Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder

• arxiv url: http://arxiv.org/abs/2409.09716v1
• Date: Sun, 15 Sep 2024 12:47:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 19:38:20.987311
• Title: Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder
• Title（参考訳）: 視覚的優先を遠ざける:構成オートエンコーダを用いたシーン解釈の教師なし学習
• Authors: Krzysztof Krawiec, Antoni Nowinowski,
• Abstract要約: 本稿では、ドメイン固有言語を用いて、画像形成の先駆的選択を捉えるニューロシンボリックアーキテクチャを提案する。 我々は、その言語でテンプレートプログラムを表現し、畳み込みニューラルネットワークによってシーンから抽出された特徴を用いてパラメータ化を学ぶ。 パラメータ化されたプログラムは、実行されると幾何学的プリミティブを生成し、シーンの内容に対応するようにレンダリングして評価する。
• 参考スコア（独自算出の注目度）: 0.20718016474717196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contemporary deep learning architectures lack principled means for capturing and handling fundamental visual concepts, like objects, shapes, geometric transforms, and other higher-level structures. We propose a neurosymbolic architecture that uses a domain-specific language to capture selected priors of image formation, including object shape, appearance, categorization, and geometric transforms. We express template programs in that language and learn their parameterization with features extracted from the scene by a convolutional neural network. When executed, the parameterized program produces geometric primitives which are rendered and assessed for correspondence with the scene content and trained via auto-association with gradient. We confront our approach with a baseline method on a synthetic benchmark and demonstrate its capacity to disentangle selected aspects of the image formation process, learn from small data, correct inference in the presence of noise, and out-of-sample generalization.
• Abstract（参考訳）: 現代のディープラーニングアーキテクチャには、オブジェクト、形状、幾何学変換など、基本的な視覚概念をキャプチャし、扱うための原則的な手段が欠けている。 本稿では、ドメイン固有言語を用いて、物体形状、外観、分類、幾何学変換など、画像形成の先駆的選択を捉えるニューロシンボリックアーキテクチャを提案する。 我々は、その言語でテンプレートプログラムを表現し、畳み込みニューラルネットワークによってシーンから抽出された特徴を用いてパラメータ化を学ぶ。 パラメータ化されたプログラムは、実行されると幾何学的プリミティブを生成し、シーンの内容に対応するようにレンダリングされ、評価され、勾配と自己連想することで訓練される。 提案手法は,合成ベンチマークのベースライン手法と対立し,画像形成プロセスの選択した側面をアンタングルし,小さなデータから学習し,ノイズの存在下での正しい推測,サンプル外一般化を行う能力を示す。

関連論文リスト

• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Self-Supervised Pre-training with Symmetric Superimposition Modeling for Scene Text Recognition [43.61569815081384]
  テキスト画像中の局所的特徴と言語情報を同時に捉えるための対称性重畳モデルを提案する。 画素レベルでは、原画像と逆画像の再構成を行い、文字の形状やテクスチャレベルの言語的文脈を捉える。 特徴レベルでは、意味レベルの言語文脈と局所的文字識別をモデル化するために、異なる拡張で同一の原画像と逆画像の特徴を再構築する。
  論文  参考訳（メタデータ） (2024-05-09T15:23:38Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• Recursive Neural Programs: Variational Learning of Image Grammars and Part-Whole Hierarchies [1.5990720051907859]
  本稿では,部分階層学習問題に対処するため,再帰的ニューラルプログラム(RNP)を導入する。 RNPは、部分階層学習問題に対処する最初の神経生成モデルである。 以上の結果から,RNPはオブジェクトやシーンを直感的で説明可能な構成方法であることがわかった。
  論文  参考訳（メタデータ） (2022-06-16T22:02:06Z)
• Zero-Shot Text-Guided Object Generation with Dream Fields [111.06026544180398]
  ニューラルレンダリングとマルチモーダル画像とテキスト表現を組み合わせることで、多様な3Dオブジェクトを合成する。 提案手法であるドリームフィールドは,3次元の監督なしに広範囲の物体の形状と色を生成できる。 実験では、ドリーム・フィールズ(Dream Fields)は、様々な自然言語のキャプションから、現実的で多視点で一貫したオブジェクトの幾何学と色を作り出す。
  論文  参考訳（メタデータ） (2021-12-02T17:53:55Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• Learned Spatial Representations for Few-shot Talking-Head Synthesis [68.3787368024951]
  複数発話頭合成のための新しいアプローチを提案する。 この異方性表現は,従来の手法よりも大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:59:42Z)
• Synthesizing human-like sketches from natural images using a conditional convolutional decoder [3.3504365823045035]
  本研究では,自然画像中の物体の人間的なスケッチを合成できる,完全な畳み込み型エンドツーエンドアーキテクチャを提案する。 スケッチとイメージのペアのコレクション上で、エンドツーエンドの教師付きで構造をトレーニングします。 生成したアーキテクチャのスケッチを85.6%の精度で分類し,ユーザスタディを通じてその視覚的品質を検証する。
  論文  参考訳（メタデータ） (2020-03-16T10:42:53Z)
• Shallow2Deep: Indoor Scene Modeling by Single Image Understanding [42.87957414916607]
  本稿では,ニューラルネットワークの深い特徴を用いた屋内シーンの自動モデリング手法を提案する。 一つのRGB画像が与えられた場合,本手法は同時に意味内容,3次元幾何学,オブジェクト関係を復元する。
  論文  参考訳（メタデータ） (2020-02-22T23:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。