論文の概要: AIpparel: A Large Multimodal Generative Model for Digital Garments
- arxiv url: http://arxiv.org/abs/2412.03937v1
- Date: Thu, 05 Dec 2024 07:35:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 20:43:01.93927
- Title: AIpparel: A Large Multimodal Generative Model for Digital Garments
- Title（参考訳）: AIpparel: デジタルガーメントのための大規模マルチモーダル生成モデル
- Authors: Kiyohiro Nakayama, Jan Ackermann, Timur Levent Kesdogan, Yang Zheng, Maria Korosteleva, Olga Sorkine-Hornung, Leonidas J. Guibas, Guandao Yang, Gordon Wetzstein,
- Abstract要約: 縫製パターンの生成と編集のための大規模なマルチモーダルモデルであるAIpparelを紹介する。
当社のモデルでは,12万以上のユニークな衣服をカスタマイズした大規模データセット上で,最先端の大規模マルチモーダルモデルを微調整する。
本稿では,これらの複雑な縫製パターンを簡潔に符号化し,LLMが効率的に予測できる新しいトークン化手法を提案する。
- 参考スコア（独自算出の注目度）: 71.12933771326279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Apparel is essential to human life, offering protection, mirroring cultural identities, and showcasing personal style. Yet, the creation of garments remains a time-consuming process, largely due to the manual work involved in designing them. To simplify this process, we introduce AIpparel, a large multimodal model for generating and editing sewing patterns. Our model fine-tunes state-of-the-art large multimodal models (LMMs) on a custom-curated large-scale dataset of over 120,000 unique garments, each with multimodal annotations including text, images, and sewing patterns. Additionally, we propose a novel tokenization scheme that concisely encodes these complex sewing patterns so that LLMs can learn to predict them efficiently. \methodname achieves state-of-the-art performance in single-modal tasks, including text-to-garment and image-to-garment prediction, and enables novel multimodal garment generation applications such as interactive garment editing. The project website is at georgenakayama.github.io/AIpparel/.
- Abstract（参考訳）: アパレルは人間の生活に不可欠であり、保護を提供し、文化的なアイデンティティを反映し、個人的なスタイルを誇示している。
しかし、衣料品の製作には時間を要するプロセスが残っており、その主な原因は手作業による設計である。
このプロセスを簡単にするために、縫製パターンの生成と編集のための大規模なマルチモーダルモデルであるAIpparelを導入する。
当社のモデルでは,テキスト,画像,縫製パターンなどのマルチモーダルアノテーションを備えた,12万以上のユニークな衣服をカスタマイズした大規模データセット上に,最先端の大規模マルチモーダルモデル(LMM)を微調整する。
さらに, これらの複雑な縫製パターンを簡潔に符号化し, LLMが効率的に予測できる新しいトークン化手法を提案する。
\methodnameは、テキスト・ツー・ガベーションや画像・ツー・ガベーション予測などの単一モーダルタスクにおける最先端のパフォーマンスを実現し、インタラクティブな衣料編集などの新しいマルチモーダル・ウェア・ジェネレーション・アプリケーションを実現する。
プロジェクトウェブサイトは Georgenakayama.github.io/AIpparel/ にある。
関連論文リスト
- GarmentDiffusion: 3D Garment Sewing Pattern Generation with Multimodal Diffusion Transformers [9.228577662928673]
縫製パターンの生成モデリングは 多様化した衣服を作るのに 不可欠です
textbftextitGarmentDiffusionは、センチメートル精度でベクトル化された3次元縫製パターンを生成できる新しい生成モデルである。
論文 参考訳（メタデータ） (2025-04-30T09:56:59Z) - ChatGarment: Garment Estimation, Generation and Editing via Large Language Models [79.46056192947924]
ChatGarmentは、大規模な視覚言語モデル(VLM)を活用して、3D衣服の見積もり、生成、編集を自動化する新しいアプローチである。
ウィジェット内の画像やスケッチから縫製パターンを推定し、テキスト記述から生成し、ユーザー指示に基づいて衣服を編集することができる。
論文 参考訳（メタデータ） (2024-12-23T18:59:28Z) - Multimodal Latent Diffusion Model for Complex Sewing Pattern Generation [52.13927859375693]
テキストプロンプト,体形,着物スケッチによって制御される縫製パターンを生成するマルチモーダル生成モデルであるSwingLDMを提案する。
潜伏空間における縫製パターンの分布を学習するために,2段階のトレーニング戦略を設計する。
総合的定性的および定量的実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-12-19T02:05:28Z) - GLDesigner: Leveraging Multi-Modal LLMs as Designer for Enhanced Aesthetic Text Glyph Layouts [53.568057283934714]
コンテンツ対応のテキストロゴレイアウトを生成するVLMベースのフレームワークを提案する。
本稿では,複数のグリフ画像の同時処理における計算量を削減するための2つのモデル手法を提案する。
アウトモデルのインストラクションチューニングを支援するために,既存の公開データセットよりも5倍大きい2つの拡張テキストロゴデータセットを構築した。
論文 参考訳（メタデータ） (2024-11-18T10:04:10Z) - Multi-Garment Customized Model Generation [3.1679243514285194]
マルチゲージカスタマイズモデル生成は、潜在拡散モデル(LDM)に基づく統合フレームワークである
本フレームワークは,脱結合型マルチガーメント機能融合による複数衣服の条件生成を支援する。
提案する衣料エンコーダは,他の拡張モジュールと組み合わせることができるプラグアンドプレイモジュールである。
論文 参考訳（メタデータ） (2024-08-09T17:57:33Z) - SEED-Story: Multimodal Long Story Generation with Large Language Model [66.37077224696242]
SEED-Storyは、MLLM(Multimodal Large Language Model)を利用して拡張マルチモーダルストーリーを生成する新しい手法である。
マルチモーダルアテンションシンク機構を提案し,最大25個のストーリー(トレーニング用10個)を高い効率で自動回帰的に生成する。
本稿では,大規模かつ高解像度なStoryStreamというデータセットを提案する。
論文 参考訳（メタデータ） (2024-07-11T17:21:03Z) - PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。
データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。
我々は,ユーザのデザイン意図に基づいて編集可能なポスターを生成する自動テキスト投稿システムを開発した。
論文 参考訳（メタデータ） (2024-06-05T03:05:52Z) - MMTryon: Multi-Modal Multi-Reference Control for High-Quality Fashion Generation [70.83668869857665]
MMTryonはマルチモーダルなマルチ参照VIrtual Try-ONフレームワークである。
テキスト命令と複数の衣料品画像を入力として、高品質な合成試行結果を生成することができる。
論文 参考訳（メタデータ） (2024-05-01T11:04:22Z) - Towards Garment Sewing Pattern Reconstruction from a Single Image [76.97825595711444]
ガーメント縫製パターンは、衣服の本質的な休息形態を表しており、ファッションデザイン、バーチャルトライオン、デジタルアバターといった多くの用途のコアとなっている。
まず,SewFactoryという多目的データセットを合成した。
次に、縫製パターン予測性能を大幅に向上させるSewformerと呼ばれる2レベルトランスフォーマーネットワークを提案する。
論文 参考訳（メタデータ） (2023-11-07T18:59:51Z) - UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。
本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。
統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
論文 参考訳（メタデータ） (2023-07-30T09:48:36Z) - Multimodal Garment Designer: Human-Centric Latent Diffusion Models for
Fashion Image Editing [40.70752781891058]
本稿では,人間中心のファッション画像の生成を導くマルチモーダルなファッション画像編集の課題を提案する。
我々は遅延拡散モデルに基づく新しいアーキテクチャを提案することでこの問題に対処する。
タスクに適した既存のデータセットがないので、既存の2つのファッションデータセットも拡張します。
論文 参考訳（メタデータ） (2023-04-04T18:03:04Z) - Multi-Modal Experience Inspired AI Creation [33.34566822058209]
シーケンシャルなマルチモーダル情報に基づいてテキストを生成する方法について検討する。
まず,マルチモーダルアテンションネットワークを備えたマルチチャネルシーケンス・ツー・シーケンスアーキテクチャを設計する。
次に、逐次入力に適したカリキュラム負サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2022-09-02T11:50:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。