論文の概要: BlobCtrl: A Unified and Flexible Framework for Element-level Image Generation and Editing

• arxiv url: http://arxiv.org/abs/2503.13434v1
• Date: Mon, 17 Mar 2025 17:58:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:33:12.048535
• Title: BlobCtrl: A Unified and Flexible Framework for Element-level Image Generation and Editing
• Title（参考訳）: BlobCtrl: 要素レベルの画像生成と編集のための統一的で柔軟なフレームワーク
• Authors: Yaowei Li, Lingen Li, Zhaoyang Zhang, Xiaoyu Li, Guangzhi Wang, Hongxiang Li, Xiaodong Cun, Ying Shan, Yuexian Zou,
• Abstract要約: BlobCtrlは、確率的ブロブベースの表現を使用して要素レベルの生成と編集を統合するフレームワークである。 提案手法は,空間的位置,意味的内容,アイデンティティ情報を効果的に分離し,表現する。 実験の結果、BlobCtrlは計算効率を保ちながら、様々な要素レベルの操作タスクに優れていた。
• 参考スコア（独自算出の注目度）: 86.26405009039868
• License:
• Abstract: Element-level visual manipulation is essential in digital content creation, but current diffusion-based methods lack the precision and flexibility of traditional tools. In this work, we introduce BlobCtrl, a framework that unifies element-level generation and editing using a probabilistic blob-based representation. By employing blobs as visual primitives, our approach effectively decouples and represents spatial location, semantic content, and identity information, enabling precise element-level manipulation. Our key contributions include: 1) a dual-branch diffusion architecture with hierarchical feature fusion for seamless foreground-background integration; 2) a self-supervised training paradigm with tailored data augmentation and score functions; and 3) controllable dropout strategies to balance fidelity and diversity. To support further research, we introduce BlobData for large-scale training and BlobBench for systematic evaluation. Experiments show that BlobCtrl excels in various element-level manipulation tasks while maintaining computational efficiency, offering a practical solution for precise and flexible visual content creation. Project page: https://liyaowei-stu.github.io/project/BlobCtrl/
• Abstract（参考訳）: 要素レベルの視覚操作はデジタルコンテンツ作成に不可欠であるが、現在の拡散ベースの方法は従来のツールの精度と柔軟性を欠いている。 本稿では,確率的ブロブに基づく表現を用いた要素レベルの生成と編集を統一するフレームワークであるBlobCtrlを紹介する。 視覚的プリミティブとしてブロブを用いることで、空間的位置、セマンティックコンテンツ、アイデンティティ情報を効果的に分離し、正確な要素レベルの操作を可能にする。 私たちの重要なコントリビューションは以下のとおりです。 1) シームレスな前景・背景統合のための階層的特徴融合を有する二重分岐拡散アーキテクチャ 2)データ強化・スコア機能を備えた自己指導型トレーニングパラダイム 3)忠実性と多様性のバランスをとるためのコントロール可能なドロップアウト戦略。 さらなる研究を支援するために,大規模トレーニングのためのBlobDataと,体系的な評価のためのBlobBenchを紹介する。 実験によると、BlobCtrlは計算効率を保ちながら様々な要素レベルの操作タスクに優れており、正確で柔軟な視覚コンテンツ作成のための実用的なソリューションを提供する。 プロジェクトページ:https://liyaowei-stu.github.io/project/BlobCtrl/

関連論文リスト

• BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations [82.94002870060045]
  既存のビデオ生成モデルは、複雑なテキストプロンプトに従い、複数のオブジェクトを合成するのに苦労する。 我々は,BlobGEN-Vidというブロブグラウンドビデオ拡散モデルを開発し,ユーザがオブジェクトの動きを制御し,細かいオブジェクトの外観を制御できるようにする。 U-NetとDiTをベースとした動画拡散モデルに基づいてBlobGEN-Vidを構築する。
  論文  参考訳（メタデータ） (2025-01-13T19:17:06Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Deep Structure and Attention Aware Subspace Clustering [29.967881186297582]
  本稿では,新しいサブスペースクラスタリング(DSASC)を提案する。 視覚変換器を用いて特徴を抽出し,抽出した特徴を2つの部分,構造特徴,内容特徴に分割する。 我々の手法は最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-25T01:19:47Z)
• Optimal Transport Aggregation for Visual Place Recognition [9.192660643226372]
  SALADは,NetVLADの局所的特徴のソフトアサインを最適な輸送問題としてクラスタに再配置する。 SALADでは,機能間クラスタ関係とクラスタ間クラスタ関係の両方を考慮するとともに,非形式的と考えられる特徴を選択的に破棄する'ダストビン'クラスタも導入する。 我々のシングルステージ手法は、パブリックなVPRデータセットの単一ステージベースラインを超えるだけでなく、2段階の手法を超越し、コストを大幅に高めに再ランク付けする。
  論文  参考訳（メタデータ） (2023-11-27T15:46:19Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [91.43066633305662]
  本稿では,多種多様な二ソース密度予測タスクのためのアンダーラインComPlementaryアンダーライン変換器textbfComPtrを提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)
• Multi-level Second-order Few-shot Learning [111.0648869396828]
  教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。 我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。 我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
  論文  参考訳（メタデータ） (2022-01-15T19:49:00Z)
• Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining Network [13.628218953897946]
  本稿では,JDNetとよばれる有効アルゴリズムを提案する。 自己校正畳み込みを用いたスケール・アグリゲーション・セルフアグリゲーション・モジュールを巧みに設計することにより,提案モデルはより優れたデコレーション結果が得られる。
  論文  参考訳（メタデータ） (2020-08-06T17:04:34Z)
• Learning Semantically Enhanced Feature for Fine-Grained Image Classification [27.136912902584093]
  提案手法は,グローバルな特徴のサブ機能のセマンティクスを強化することで,きめ細かい特徴を学習する。 提案手法はパラメータ同型であり,エンドツーエンドトレーニング用のプラグイン・アンド・プレイモジュールとして,バックボーンモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2020-06-24T03:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。