論文の概要: Generative Models: What do they know? Do they know things? Let's find
out!
- arxiv url: http://arxiv.org/abs/2311.17137v1
- Date: Tue, 28 Nov 2023 18:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 23:40:44.479308
- Title: Generative Models: What do they know? Do they know things? Let's find
out!
- Title(参考訳): 生成モデル: 彼らは何を知っているのか?
彼らは何か知ってるの?
見つけよう!
- Authors: Xiaodan Du, Nicholas Kolkin, Greg Shakhnarovich, Anand Bhattad
- Abstract要約: 生成モデルが内部的に高品質なシーン固有写像を生成するという説得力のある証拠を提示する。
Intrinsic LoRAは、任意の生成モデルをシーン固有の予測子に変換する汎用的なプラグアンドプレイアプローチである。
提案手法では,鍵となる特徴写像のローランド適応(LoRA)を用い,生成モデルの総パラメータの0.6%未満を新たに学習した。
- 参考スコア(独自算出の注目度): 9.816556961936193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative models have been shown to be capable of synthesizing highly
detailed and realistic images. It is natural to suspect that they implicitly
learn to model some image intrinsics such as surface normals, depth, or
shadows. In this paper, we present compelling evidence that generative models
indeed internally produce high-quality scene intrinsic maps. We introduce
Intrinsic LoRA (I LoRA), a universal, plug-and-play approach that transforms
any generative model into a scene intrinsic predictor, capable of extracting
intrinsic scene maps directly from the original generator network without
needing additional decoders or fully fine-tuning the original network. Our
method employs a Low-Rank Adaptation (LoRA) of key feature maps, with newly
learned parameters that make up less than 0.6% of the total parameters in the
generative model. Optimized with a small set of labeled images, our
model-agnostic approach adapts to various generative architectures, including
Diffusion models, GANs, and Autoregressive models. We show that the scene
intrinsic maps produced by our method compare well with, and in some cases
surpass those generated by leading supervised techniques.
- Abstract(参考訳): 生成モデルは高精細でリアルな画像を合成できることが示されている。
表面の正常や深度、影といった画像の内在を暗黙的にモデル化することを学ぶことは、疑わしい。
本稿では,生成モデルが内在的に高品質なシーン内在的地図を生成するという説得力のある証拠を示す。
Intrinsic LoRA(I LoRA)は、任意の生成モデルをシーン固有の予測子に変換する汎用的なプラグイン・アンド・プレイ方式であり、デコーダの追加やオリジナルネットワークを完全に微調整することなく、オリジナルジェネレータネットワークから直接固有のシーンマップを抽出することができる。
提案手法では,重要特徴マップの低ランク適応 (lora) を用いて,生成モデルにおけるパラメータ全体の0.6%未満のパラメータを新たに学習した。
ラベル付き画像の小さなセットで最適化された我々のモデル非依存のアプローチは、拡散モデル、GAN、自動回帰モデルなど、様々な生成アーキテクチャに適応する。
本研究では,本手法が生成するシーン固有マップと,指導手法が生成するシーン固有マップとを比較した。
関連論文リスト
- Consistency Models [89.68380014789861]
ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。
設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。
イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
論文 参考訳(メタデータ) (2023-03-02T18:30:16Z) - DiffGAR: Model-Agnostic Restoration from Generative Artifacts Using
Image-to-Image Diffusion Models [46.46919194633776]
この作業は、多様な生成モデルのためのプラグイン後処理モジュールの開発を目的としている。
従来の劣化パターンとは異なり、生成アーティファクトは非線形であり、変換関数は非常に複雑である。
論文 参考訳(メタデータ) (2022-10-16T16:08:47Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳(メタデータ) (2022-02-24T01:31:29Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳(メタデータ) (2021-12-08T21:39:00Z) - Texture Generation with Neural Cellular Automata [64.70093734012121]
一つのテンプレート画像からテクスチャジェネレータを学習する。
NCAモデルで示される振る舞いは、テクスチャを生成するための学習された分散されたローカルアルゴリズムであると主張します。
論文 参考訳(メタデータ) (2021-05-15T22:05:46Z) - CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields [67.76151996543588]
画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。
テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
論文 参考訳(メタデータ) (2021-03-31T17:59:24Z) - Counterfactual Generative Networks [59.080843365828756]
画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。
適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。
その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
論文 参考訳(メタデータ) (2021-01-15T10:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。