論文の概要: ReFACT: Updating Text-to-Image Models by Editing the Text Encoder
- arxiv url: http://arxiv.org/abs/2306.00738v1
- Date: Thu, 1 Jun 2023 14:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:35:51.527236
- Title: ReFACT: Updating Text-to-Image Models by Editing the Text Encoder
- Title(参考訳): ReFACT: テキストエンコーダの編集によるテキストから画像への更新
- Authors: Dana Arad, Hadas Orgad, Yonatan Belinkov
- Abstract要約: 本稿では,テキスト・ツー・イメージ生成モデルにおける事実知識の編集手法であるReFACTを紹介する。
ReFACTはテキストエンコーダ内の特定のレイヤの重みを更新し、モデルのパラメータのごく一部だけを変更し、残りのモデルに影響を与えない。
我々は、新たにキュレートされたデータセットであるRoADとともに、既存のベンチマークでReFACTを実証的に評価する。
- 参考スコア(独自算出の注目度): 24.685132962653796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-image models are trained on extensive amounts of data, leading them
to implicitly encode factual knowledge within their parameters. While some
facts are useful, others may be incorrect or become outdated (e.g., the current
President of the United States). We introduce ReFACT, a novel approach for
editing factual knowledge in text-to-image generative models. ReFACT updates
the weights of a specific layer in the text encoder, only modifying a tiny
portion of the model's parameters, and leaving the rest of the model
unaffected. We empirically evaluate ReFACT on an existing benchmark, alongside
RoAD, a newly curated dataset. ReFACT achieves superior performance in terms of
generalization to related concepts while preserving unrelated concepts.
Furthermore, ReFACT maintains image generation quality, making it a valuable
tool for updating and correcting factual information in text-to-image models.
- Abstract(参考訳): テキストから画像へのモデルは膨大なデータに基づいてトレーニングされ、パラメータ内に事実知識を暗黙的にエンコードする。
いくつかの事実は有用であるが、他の事実は間違っているか時代遅れになる可能性がある(例えば、現在のアメリカ合衆国大統領)。
本稿では,テキスト・ツー・イメージ生成モデルにおける事実知識の編集手法であるReFACTを紹介する。
ReFACTはテキストエンコーダ内の特定のレイヤの重みを更新し、モデルのパラメータのごく一部だけを変更し、残りのモデルに影響を与えない。
我々は、新たにキュレートされたデータセットであるRoADとともに、既存のベンチマークでReFACTを実証的に評価する。
ReFACTは、関連する概念を保存しながら、関連する概念を一般化するという点で優れたパフォーマンスを達成する。
さらに、ReFACTは画像生成の品質を維持しており、テキスト・ツー・イメージ・モデルにおける事実情報の更新と修正に有用なツールである。
関連論文リスト
- CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。
画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。
画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
論文 参考訳(メタデータ) (2023-11-27T16:33:29Z) - Localizing and Editing Knowledge in Text-to-Image Generative Models [62.02776252311559]
異なる属性に関する知識は、独立したコンポーネントにローカライズされず、代わりに条件付きUNetのコンポーネントセットに分散される。
テキスト・ツー・イメージ・モデルの概念を効果的に編集できる高速でデータフリーなモデル編集手法Diff-QuickFixを提案する。
論文 参考訳(メタデータ) (2023-10-20T17:31:12Z) - Text-to-image Editing by Image Information Removal [19.464349486031566]
原画像から色関連およびテクスチャ関連情報を選択的に消去する画像情報除去モジュール(IIR)を用いたテキスト画像編集モデルを提案する。
CUB、Outdoor Scenes、COCOに関する我々の実験は、編集された画像が以前の作業よりも35%多く好まれていることを示している。
論文 参考訳(メタデータ) (2023-05-27T14:48:05Z) - ReGeneration Learning of Diffusion Models with Rich Prompts for
Zero-Shot Image Translation [8.803251014279502]
大規模なテキスト・ツー・イメージモデルは、多彩で高忠実な画像を合成する素晴らしい能力を示した。
現在のモデルでは、編集プロセス中に元の画像の内容に大きな変更を加えることができる。
画像と画像の拡散モデル(ReDiffuser)における再生学習を提案する。
論文 参考訳(メタデータ) (2023-05-08T12:08:12Z) - ELITE: Encoding Visual Concepts into Textual Embeddings for Customized
Text-to-Image Generation [59.44301617306483]
高速かつ正確にカスタマイズされた画像生成のための学習ベースエンコーダを提案する。
提案手法は,高速な符号化処理により,高忠実度インバージョンとより堅牢な編集性を実現する。
論文 参考訳(メタデータ) (2023-02-27T14:49:53Z) - Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot
Image Captioning [153.98100182439165]
本稿では,Flamingo上に構築されたRetrieval-augmented Visual Language Model,Re-ViLMを紹介する。
外部データベースに特定の知識を明示的に格納することで、モデルパラメータの数を減らすことができる。
Re-ViLMは画像・テキスト生成タスクの性能を大幅に向上させることを示した。
論文 参考訳(メタデータ) (2023-02-09T18:57:56Z) - ClipCrop: Conditioned Cropping Driven by Vision-Language Model [90.95403416150724]
我々は、堅牢でユーザ意図的な収穫アルゴリズムを構築する基盤として、視覚言語モデルを活用している。
そこで本研究では,ユーザの意図を反映したテキストや画像クエリを用いて,トリミングを行う手法を開発した。
私たちのパイプライン設計では、小さなデータセットでテキスト条件の美学を学習することができます。
論文 参考訳(メタデータ) (2022-11-21T14:27:07Z) - Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
論文 参考訳(メタデータ) (2022-09-29T00:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。