論文の概要: RefDiT: Local Attribute Guidance in Reference-Based Image Generation

• arxiv url: http://arxiv.org/abs/2609.04976v1
• Date: Fri, 04 Sep 2026 10:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.00188
• Title: RefDiT: Local Attribute Guidance in Reference-Based Image Generation
• Title（参考訳）: RefDiT: 参照ベース画像生成における局所属性誘導
• Abstract要約: RefDiTは参照誘導画像生成のための新しいフレームワークである。 ローカル要素の属性を使用したローカルリージョンガイダンスを採用している。 参照画像内の識別子トークンとローカル領域の対応を学習する。
• 参考スコア（独自算出の注目度）: 13.461311653538528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalization models generate new images guided by a few subject references, while style transfer methods aim to produce images aligned with a global style derived from a reference image. Recent approaches perform well when the reference image contains a single object, effectively capturing a global style that encompasses all implicit attributes. However, when applied to complex real-world scenes containing multiple objects with distinct attribute characteristics, these methods, due to their global-level guidance, fail to localize relevant elements in the reference image. The global guidance restricts their ability to generate new images based on the local attributes in the reference image. Moreover, existing methods typically employ a single identifier token to capture all details from the reference, resulting in a lack of individual, attribute-level control. Motivated by these limitations, we propose RefDiT, a novel framework for reference-guided image generation. RefDiT takes as input a reference image, a text prompt, and an optional user-provided guidance context. RefDiT employs local region guidance using the attributes of local elements. It constructs an attribute-aware conditioning signal from the reference image by performing attribute-level decomposition of the identifier token and performs context adjustment in the inference prompt to train low-rank adapter (LoRA) blocks of a diffusion transformer (DiT)-based generative model. RefDiT learns the correspondence between identifier tokens and local regions in the reference image, enabling more effective local guidance.
• Abstract（参考訳）: パーソナライズモデルは、いくつかの主題参照によってガイドされる新しい画像を生成する一方、スタイル転送手法は、参照画像から派生したグローバルなスタイルに整合した画像を作成することを目的としている。 最近のアプローチでは、参照イメージが単一のオブジェクトを含む場合、すべての暗黙の属性を含むグローバルなスタイルを効果的にキャプチャする。 しかし、異なる属性特性を持つ複数のオブジェクトを含む複雑な現実世界のシーンに適用した場合、これらの手法は、それらのグローバルレベルのガイダンスのため、参照画像内の関連要素のローカライズに失敗する。 グローバルガイダンスは、参照画像のローカル属性に基づいて、新しい画像を生成する能力を制限している。 さらに、既存のメソッドは通常、参照からすべての詳細をキャプチャするために単一の識別子トークンを使用し、結果として個々の属性レベルの制御が欠如する。 これらの制約により、参照誘導画像生成のための新しいフレームワークであるRefDiTを提案する。 RefDiTは、参照イメージ、テキストプロンプト、オプションのユーザが提供するガイダンスコンテキストとして入力される。 RefDiTは、ローカル要素の属性を使用して、ローカルリージョンガイダンスを使用する。 識別子トークンの属性レベル分解を行い、参照画像から属性対応条件付け信号を構築し、推論プロンプトでコンテキスト調整を行い、拡散トランスフォーマー(DiT)ベースの生成モデルのローランクアダプタ(LoRA)ブロックを訓練する。 RefDiTは、参照画像内の識別子トークンとローカル領域の対応を学習し、より効果的なローカルガイダンスを可能にする。

関連論文リスト

• ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships [53.24877477312131]
  ReBindは、組み込み参照トークンによるセマンティックインストラクションを導入する、体系的なフレームワークである。 ReBind-Instructは、視覚属性とその参照ソース間の明示的な結合を確立するための特殊なMLLMである。 また,複数の参照を協調するテキスト・ビデオ・モデルの軽量な適応を可能にするReBind-Editを開発した。
  論文  参考訳（メタデータ） (2026-07-16T07:43:27Z)
• RefAlign: Representation Alignment for Reference-to-Video Generation [53.368296137314225]
  RefAlignは、DiT参照ブランチ機能を視覚基礎モデルのセマンティック空間に整列する表現アライメントフレームワークである。 OpenS2V-Evalベンチマークの実験では、RefAlignがTotalScoreの最先端メソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-03-26T17:59:57Z)
• Attribute Localization and Revision Network for Zero-Shot Learning [13.530912616208722]
  ゼロショット学習により、モデルは属性などの補助的な意味情報の助けを借りて、目に見えないカテゴリを認識できる。 本稿では,局所的な特徴とグローバルな特徴の選択がゼロサムゲームではなく,グローバルな特徴が属性の理解に寄与することを発見した。
  論文  参考訳（メタデータ） (2023-10-11T14:50:52Z)
• Improving Reference-based Distinctive Image Captioning with Contrastive Rewards [52.406331702017596]
  近年のDIC法では,対象画像と意味相似参照画像のセットを比較して,特徴的なキャプションを生成する方法が提案されている。 本稿では,2つの新しいRef-DICベンチマークを提案し,TransformerベースのRef-DICベースライントランスDICを開発した。 より信頼性の高いベンチマークを行うために、Ref-DICのためのDisCIDErという新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-06-25T14:37:13Z)
• TransRef: Multi-Scale Reference Embedding Transformer for Reference-Guided Image Inpainting [45.31389892299325]
  本稿では,トランスレフと呼ばれるトランスフォーマーベースのエンコーダデコーダネットワークを提案する。 参照特徴を正確に活用するために、参照パッチアライメント(Ref-PA)モジュールを提案し、参照画像と破損画像のパッチ特徴を整列させる。 入力画像と参照画像の50Kペアを含む,公開可能なベンチマークデータセットを構築した。
  論文  参考訳（メタデータ） (2023-06-20T13:31:33Z)
• Language Guided Local Infiltration for Interactive Image Retrieval [12.324893780690918]
  Interactive Image Retrieval (IIR) は、一般的に参照画像と似ているが、要求されたテキスト修正の下で画像を取得することを目的としている。 テキスト情報を完全に活用し,画像特徴にテキスト特徴を浸透させる言語ガイド型局所浸透システム(LGLI)を提案する。 我々の手法は、最先端のIIR手法よりも優れています。
  論文  参考訳（メタデータ） (2023-04-16T10:33:08Z)
• Rethinking the Reference-based Distinctive Image Captioning [17.724543105544935]
  近年の研究では、ターゲット画像と意味相似参照画像のセットを比較して、特徴的なキャプションを生成することを提案する。 我々はTransDICと呼ばれる強力なTransformerベースのRef-DICベースラインを開発した。 より信頼性の高いベンチマークを行うために、Ref-DICのためのDisCIDErという新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2022-07-22T14:49:54Z)
• Attribute Prototype Network for Any-Shot Learning [113.50220968583353]
  属性ローカライズ機能を統合した画像表現は、任意のショット、すなわちゼロショットと少数ショットのイメージ分類タスクに有用である、と我々は主張する。 クラスレベルの属性のみを用いてグローバルな特徴とローカルな特徴を共同で学習する新しい表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-04T02:25:40Z)
• Attribute Group Editing for Reliable Few-shot Image Generation [85.52840521454411]
  本稿では,画像生成のための新しい編集手法,すなわちAttribute Group Editing (AGE)を提案する。 AGEは、GANで学んだ内部表現を調べ、意味的に意味のある方向を識別する。
  論文  参考訳（メタデータ） (2022-03-16T06:54:09Z)
• Local and Global GANs with Semantic-Aware Upsampling for Image Generation [201.39323496042527]
  ローカルコンテキストを用いて画像を生成することを検討する。 セマンティックマップをガイダンスとして用いたクラス固有の生成ネットワークを提案する。 最後に,セマンティック・アウェア・アップサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-28T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。