論文の概要: MoEController: Instruction-based Arbitrary Image Manipulation with Mixture-of-Expert Controllers

• arxiv url: http://arxiv.org/abs/2309.04372v1
• Date: Fri, 8 Sep 2023 15:06:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:02:12.283957
• Title: MoEController: Instruction-based Arbitrary Image Manipulation with Mixture-of-Expert Controllers
• Title（参考訳）: MoEController:Mixture-of-Expert Controllerによる命令ベースの任意画像操作
• Authors: Sijia Li, Chen Chen, Haonan Lu
• Abstract要約: 拡散モデルのテキスト誘導能力と異なる種類の人的指示とを一致させるため,MOE(Mix-of-expert)コントローラを用いた手法を提案する。 提案手法は,オープンドメイン画像や任意のヒューマンインストラクションを扱う場合,様々な画像操作タスクにおいて驚くほどよく機能する。
• 参考スコア（独自算出の注目度）: 9.91122655587434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-model-based text-guided image generation has recently made astounding progress, producing fascinating results in open-domain image manipulation tasks. Few models, however, currently have complete zero-shot capabilities for both global and local image editing due to the complexity and diversity of image manipulation tasks. In this work, we propose a method with a mixture-of-expert (MOE) controllers to align the text-guided capacity of diffusion models with different kinds of human instructions, enabling our model to handle various open-domain image manipulation tasks with natural language instructions. First, we use large language models (ChatGPT) and conditional image synthesis models (ControlNet) to generate a large number of global image transfer dataset in addition to the instruction-based local image editing dataset. Then, using an MOE technique and task-specific adaptation training on a large-scale dataset, our conditional diffusion model can edit images globally and locally. Extensive experiments demonstrate that our approach performs surprisingly well on various image manipulation tasks when dealing with open-domain images and arbitrary human instructions. Please refer to our project page: [https://oppo-mente-lab.github.io/moe_controller/]
• Abstract（参考訳）: 拡散モデルに基づくテキスト誘導画像生成は、最近驚くべき進歩を遂げ、オープンドメイン画像操作タスクにおいて素晴らしい結果をもたらした。 しかし、現在、画像操作タスクの複雑さと多様性のため、グローバルおよびローカル画像編集の完全なゼロショット機能を持つモデルはほとんどない。 本研究では,拡散モデルのテキスト誘導能力と異なる種類の人間の指示とを一致させるため,実験用混合制御器(MOE)を用いた手法を提案し,そのモデルが自然言語による様々なオープンドメイン画像操作タスクを扱えるようにした。 まず,大規模言語モデル(chatgpt)と条件付き画像合成モデル(controlnet)を用いて,命令ベースのローカル画像編集データセットに加えて,多数のグローバル画像転送データセットを生成する。 そして,MOE技術と大規模データセットを用いたタスク固有適応トレーニングを用いて,条件拡散モデルにより,画像のグローバルかつローカルな編集が可能となる。 広範にわたる実験により,オープンドメイン画像や任意のヒューマンインストラクションを扱う場合,様々な画像操作タスクに対して驚くほど優れた性能が得られた。 プロジェクトページを参照してください。 [https://oppo-mente-lab.github.io/moe_controller/]

関連論文リスト

• PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions [66.92809850624118]
  PixWizardは、画像生成、操作、翻訳を自由言語命令に基づいて行うために設計されたイメージ・ツー・イメージのビジュアルアシスタントである。 我々は、様々な視覚タスクを統一された画像テキスト・画像生成フレームワークに取り組み、Omni Pixel-to-Pixel Instruction-Tuningデータセットをキュレートする。 我々の実験は、PixWizardが様々な解像度の画像に対して印象的な生成能力と理解能力を示すだけでなく、目に見えないタスクや人間の指示で有望な一般化能力を示すことを示した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:46Z)
• Diffusion Self-Guidance for Controllable Image Generation [106.59989386924136]
  自己誘導(Self-guidance)は、拡散モデルの内部表現を導くことによって、生成された画像に対するより深い制御を提供する。 課題の画像操作を行うために、簡単なプロパティセットをいかに構成できるかを示す。 また,実画像の編集に自己指導が有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T17:59:56Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• DiffUTE: Universal Text Editing Diffusion Model [32.384236053455]
  汎用的な自己教師型テキスト編集拡散モデル(DiffUTE)を提案する。 それは、その現実的な外観を維持しながら、ソースイメージ内の単語を別の単語に置き換えたり、修正したりすることを目的としている。 提案手法は印象的な性能を実現し,高忠実度画像の編集を可能にする。
  論文  参考訳（メタデータ） (2023-05-18T09:06:01Z)
• LDEdit: Towards Generalized Text Guided Image Manipulation via Latent Diffusion Models [12.06277444740134]
  フレキシブルテキスト入力を持つ単一モデルを用いた汎用画像操作は非常に望ましい。 最近の研究は、事前学習された視覚言語エンコーダを用いて、ジェネリックイメージで訓練された生成モデルを導くことで、この課題に対処している。 本稿では,テキストプロンプトから画像の汎用的な操作を行うための最適化不要な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T13:26:15Z)
• StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators [63.85888518950824]
  生成モデルを新しいドメインに移行できるテキスト駆動方式を提案する。 自然言語のプロンプトと数分の訓練によって、我々の手法は複数のドメインにまたがってジェネレータを適応させることができることを示す。
  論文  参考訳（メタデータ） (2021-08-02T14:46:46Z)
• Swapping Autoencoder for Deep Image Manipulation [94.33114146172606]
  画像操作に特化して設計されたディープモデルであるSwapping Autoencoderを提案する。 キーとなるアイデアは、2つの独立したコンポーネントで画像をエンコードし、交換された組み合わせをリアルなイメージにマップするように強制することだ。 複数のデータセットの実験により、我々のモデルはより良い結果が得られ、最近の生成モデルと比較してかなり効率が良いことが示されている。
  論文  参考訳（メタデータ） (2020-07-01T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。