論文の概要: Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing

• arxiv url: http://arxiv.org/abs/2503.21069v1
• Date: Thu, 27 Mar 2025 00:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:51.509227
• Title: Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing
• Title（参考訳）: Janus-Pro-Dirven Promptパーシングによる効率的なマルチインスタンス生成
• Authors: Fan Qi, Yu Duan, Changsheng Xu,
• Abstract要約: Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 53.295515505026096
• License:
• Abstract: Recent advances in text-guided diffusion models have revolutionized conditional image generation, yet they struggle to synthesize complex scenes with multiple objects due to imprecise spatial grounding and limited scalability. We address these challenges through two key modules: 1) Janus-Pro-driven Prompt Parsing, a prompt-layout parsing module that bridges text understanding and layout generation via a compact 1B-parameter architecture, and 2) MIGLoRA, a parameter-efficient plug-in integrating Low-Rank Adaptation (LoRA) into UNet (SD1.5) and DiT (SD3) backbones. MIGLoRA is capable of preserving the base model's parameters and ensuring plug-and-play adaptability, minimizing architectural intrusion while enabling efficient fine-tuning. To support a comprehensive evaluation, we create DescripBox and DescripBox-1024, benchmarks that span diverse scenes and resolutions. The proposed method achieves state-of-the-art performance on COCO and LVIS benchmarks while maintaining parameter efficiency, demonstrating superior layout fidelity and scalability for open-world synthesis.
• Abstract（参考訳）: テキスト誘導拡散モデルの最近の進歩は条件付き画像生成に革命をもたらしたが、不正確な空間接地と限られたスケーラビリティのため、複雑なシーンを複数のオブジェクトで合成するのに苦労している。 私たちは2つの主要なモジュールを通してこれらの課題に対処します。 1 Janus-Pro-driven Prompt Parsingは、コンパクトな1Bパラメータアーキテクチャによるテキスト理解とレイアウト生成をブリッジするプロンプトレイアウト解析モジュールである。 2 MIGLoRA は低ランク適応 (LoRA) を UNet (SD1.5) と DiT (SD3) のバックボーンに統合したパラメータ効率のよいプラグインである。 MIGLoRAは、ベースモデルのパラメータを保存し、プラグアンドプレイの適応性を確保し、アーキテクチャの侵入を最小限に抑えながら、効率的な微調整を可能にする。 包括的な評価をサポートするため、さまざまなシーンと解像度にまたがるベンチマークであるDescripBoxとDescripBox-1024を作成します。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現し、オープンワールド合成において優れたレイアウト忠実性とスケーラビリティを示す。

関連論文リスト

• ContextFormer: Redefining Efficiency in Semantic Segmentation [48.81126061219231]
  畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。 ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。 我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
  論文  参考訳（メタデータ） (2025-01-31T16:11:04Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• OminiControl: Minimal and Universal Control for Diffusion Transformer [68.3243031301164]
  我々は,Diffusion Transformer(DiT)アーキテクチャに画像条件をどのように統合するかを再考する,新しいアプローチであるOminiControlを提案する。 OminiControlは3つの重要なイノベーションを通じて、これらの制限に対処する。
  論文  参考訳（メタデータ） (2024-11-22T17:55:15Z)
• Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
  本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。 2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
  論文  参考訳（メタデータ） (2024-06-05T08:26:44Z)
• Prompt Guided Transformer for Multi-Task Dense Prediction [14.815576352301322]
  本稿では,Prompt Guided Transformerと呼ばれる軽量なタスク条件モデルを導入し,性能とモデルパラメータを最適化する。 提案手法は,タスク条件のパラメータを少なくしながら,タスク条件付き手法の最先端化を実現し,性能とパラメータサイズの間に大きなバランスを保っている。
  論文  参考訳（メタデータ） (2023-07-28T07:25:57Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。