論文の概要: SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

• arxiv url: http://arxiv.org/abs/2312.16272v2
• Date: Thu, 14 Mar 2024 10:44:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 01:52:29.040078
• Title: SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation
• Title（参考訳）: SSRエンコーダ:主観駆動生成のための選択主観表現の符号化
• Authors: Yuxuan Zhang, Yiren Song, Jiaming Liu, Rui Wang, Jinpeng Yu, Hao Tang, Huaxia Li, Xu Tang, Yao Hu, Han Pan, Zhongliang Jing,
• Abstract要約: SSRエンコーダ(SSR-Encoder)は、単一のまたは複数の参照画像から任意の対象を選択的にキャプチャするように設計された新しいアーキテクチャである。 テストタイムの微調整を必要とせずに、テキストやマスクなど、さまざまなクエリのモダリティに応答する。 SSRエンコーダはモデルの一般化性と効率によって特徴付けられ、様々なカスタムモデルや制御モジュールに対応している。
• 参考スコア（独自算出の注目度）: 39.84456803546365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io
• Abstract（参考訳）: 近年、被写体駆動画像生成の進歩はゼロショット生成に繋がっているが、正確な選択と重要な被写体表現への焦点は依然として困難である。 そこで我々はSSR-Encoderを紹介した。SSR-Encoderは単一の参照画像や複数の参照画像から任意の対象を選択的にキャプチャするように設計された新しいアーキテクチャである。 テストタイムの微調整を必要とせずに、テキストやマスクなど、さまざまなクエリのモダリティに応答する。 SSR-Encoderは、クエリ入力をイメージパッチと整列するToken-to-Patch Alignerと、被写体の細かい特徴を抽出して保存するDetail-Preserving Subject Encoderとを組み合わせて、被写体埋め込みを生成する。 これらの埋め込みは、元のテキスト埋め込みと併用して、生成プロセスを条件付けする。 SSRエンコーダはモデルの一般化性と効率によって特徴付けられ、様々なカスタムモデルや制御モジュールに対応している。 トレーニング改善のための埋め込み一貫性規則化損失により強化され,多目的かつ高品質な画像生成におけるその有効性を実証し,その適用性を示した。 プロジェクトページ: https://ssr-encoder.github.io

関連論文リスト

• Exploring Text-Guided Single Image Editing for Remote Sensing Images [30.23541304590692]
  本稿では,テキスト誘導型RSI編集手法を提案する。 大規模なベンチマークデータセットのトレーニングを必要とせずに、一貫性を維持するために、マルチスケールのトレーニングアプローチを採用している。
  論文  参考訳（メタデータ） (2024-05-09T13:45:04Z)
• DLoRA-TrOCR: Mixed Text Mode Optical Character Recognition Based On Transformer [12.966765239586994]
  マルチフォント、混合シーン、複雑なレイアウトは、従来のOCRモデルの認識精度に深刻な影響を及ぼす。 本稿では,事前学習したOCR変換器,すなわちDLoRA-TrOCRに基づくパラメータ効率の良い混合テキスト認識手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:28:16Z)
• Text2QR: Harmonizing Aesthetic Customization and Scanning Robustness for Text-Guided QR Code Generation [38.281805719692194]
  デジタル時代には、QRコードは仮想空間と物理領域を繋ぐリンチピンとして機能する。 一般的な方法は、カスタマイズとスキャナビリティのバランスをとるという、本質的な課題に対処します。 本稿では,安定拡散モデルを利用した先駆的アプローチであるText2QRを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T06:03:31Z)
• CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
  本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。 画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。 画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:33:29Z)
• Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution [15.391125077873745]
  Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。 従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。 本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
  論文  参考訳（メタデータ） (2023-11-22T11:10:45Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection [66.08293086254851]
  本稿では,RefSRネットワークの学習を強化するための相互学習フレームワークを提案する。 新たに提案したモジュールは,マルチスケールの特徴空間に参照入力画像をアライメントし,参照認識機能の選択を行う。 我々は,最近のRefSRモデルが相互学習パラダイムによって一貫した改善が可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-11-08T12:39:35Z)
• Reference-based Image Super-Resolution with Deformable Attention Transformer [62.71769634254654]
  RefSRは、補助参照(Ref)画像を超解像低解像度(LR)画像に活用することを目的としている。 本稿では,複数のスケールを持つ変形可能なアテンション変換器,すなわちDATSRを提案する。 DATSRがベンチマークデータセット上で最先端のパフォーマンスを達成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-07-25T07:07:00Z)
• Draft-and-Revise: Effective Image Generation with Contextual RQ-Transformer [40.04085054791994]
  生成過程におけるグローバルコンテキストを考慮した,コンテキストRQ変換器を用いたドラフト・アンド・リビジョンの効果的な画像生成フレームワークを提案する。 実験では,条件付き画像生成における最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-06-09T12:25:24Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。