論文の概要: Rewriting Geometric Rules of a GAN

• arxiv url: http://arxiv.org/abs/2207.14288v1
• Date: Thu, 28 Jul 2022 17:59:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 12:40:49.941744
• Title: Rewriting Geometric Rules of a GAN
• Title（参考訳）: GANの幾何学的規則の書き換え
• Authors: Sheng-Yu Wang, David Bau, Jun-Yan Zhu
• Abstract要約: 現在の機械学習アプローチでは、創造的なプロセスの重要な要素を見逃している。 我々は、ユーザが所望の幾何学的変化を伴う少数のオリジナルのモデル出力を編集することで、与えられたモデルを「ワープ」できるようにします。 提案手法により,ユーザが定義した幾何学的変化を伴って無限オブジェクトを合成するモデルを作成し,大規模データセットの計算を伴わずに新たな生成モデルを作成することができる。
• 参考スコア（独自算出の注目度）: 32.22250082294461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep generative models make visual content creation more accessible to novice users by automating the synthesis of diverse, realistic content based on a collected dataset. However, the current machine learning approaches miss a key element of the creative process -- the ability to synthesize things that go far beyond the data distribution and everyday experience. To begin to address this issue, we enable a user to "warp" a given model by editing just a handful of original model outputs with desired geometric changes. Our method applies a low-rank update to a single model layer to reconstruct edited examples. Furthermore, to combat overfitting, we propose a latent space augmentation method based on style-mixing. Our method allows a user to create a model that synthesizes endless objects with defined geometric changes, enabling the creation of a new generative model without the burden of curating a large-scale dataset. We also demonstrate that edited models can be composed to achieve aggregated effects, and we present an interactive interface to enable users to create new models through composition. Empirical measurements on multiple test cases suggest the advantage of our method against recent GAN fine-tuning methods. Finally, we showcase several applications using the edited models, including latent space interpolation and image editing.
• Abstract（参考訳）: 深層生成モデルは、収集されたデータセットに基づいて、多様な現実的なコンテンツの合成を自動化することで、初心者のコンテンツ作成をより容易にする。 しかし、現在の機械学習のアプローチは、データの分散や日常的な体験をはるかに超えたものを合成する、創造的なプロセスの重要な要素を欠いている。 この問題に対処するために、ユーザーは所望の幾何学的変化を伴う少数のオリジナルのモデル出力を編集することで、与えられたモデルを「ワープ」することができる。 本手法では, 単一のモデル層に低ランク更新を適用し, 編集例を再構成する。 さらに, オーバーフィッティング対策として, スタイル混合に基づく潜在空間拡張手法を提案する。 本手法では,幾何学的変化によって無限のオブジェクトを合成するモデルを作成することができ,大規模データセットのキュレーションを伴わずに新たな生成モデルを作成することができる。 また,複合効果を達成するために編集モデルを構成することができることを実証し,合成による新しいモデル作成を可能にする対話型インタフェースを提案する。 複数のテストケースにおける実験的な測定は,近年のGAN微調整法に対して,本手法の利点を示唆している。 最後に, 潜在空間補間や画像編集など, 編集モデルを用いたアプリケーションをいくつか紹介する。

関連論文リスト

• ACE: All-round Creator and Editor Following Instructions via Diffusion Transformer [40.32254040909614]
  視覚生成タスクのための全ラウンドクリエータとエディタであるACEを提案する。 まず、Long-Context Condition Unit (LCU)と呼ばれる統一条件形式を導入する。 次に,LCUを入力として使用するトランスフォーマーに基づく新しい拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T17:56:27Z)
• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• Orthogonal Adaptation for Modular Customization of Diffusion Models [39.62438974450659]
  我々は、カスタマイズされたモデルを効率的にマージすることを目的として、Modular Customizationと呼ばれる新しい問題に対処する。 直交適応(Orthogonal Adaptation, Orthogonal Adaptation)は,微調整時に相互にアクセスできないカスタマイズモデルを支援する手法である。 提案手法は単純かつ汎用的であり,モデルアーキテクチャのほぼすべての最適化可能な重みに適用可能である。
  論文  参考訳（メタデータ） (2023-12-05T02:17:48Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• Counterfactual Edits for Generative Evaluation [0.0]
  本稿では,画素の代わりに概念に基づく合成結果の評価と説明のためのフレームワークを提案する。 我々のフレームワークは、どのオブジェクトや属性を挿入、削除、または置き換えるべきかを下記した知識ベースの偽物編集を利用する。 局所的な編集を蓄積したグローバルな説明は、モデルが合計で生成できない概念を明らかにすることもできる。
  論文  参考訳（メタデータ） (2023-03-02T20:10:18Z)
• Learning to Model Editing Processes [98.11448946134894]
  本稿では、反復的にシーケンスを生成するプロセス全体をモデル化し、編集プロセスのモデリングを提案する。 我々は、多段階編集の可能性を記述するための概念的枠組みを構築し、これらの多段階編集に基づいてシーケンスの生成モデルを学ぶことができるニューラルネットワークを記述する。
  論文  参考訳（メタデータ） (2022-05-24T21:32:52Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• Rewriting a Deep Generative Model [56.91974064348137]
  我々は,深層生成モデルによって符号化された特定の規則の操作という,新たな問題設定を導入する。 本稿では,ディープネットワークの層を線形連想メモリとして操作することで,所望のルールを変更する定式化を提案する。 本稿では,生成モデルのルールを対話的に変更し,望ましい効果を得られるユーザインタフェースを提案する。
  論文  参考訳（メタデータ） (2020-07-30T17:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。