Fugu-MT 論文翻訳(概要): Multimodal Conditioning of Fine-Tuned Stable Diffusion XL for Controllable and Culturally Faithful Ulos Motif Generation

論文の概要: Multimodal Conditioning of Fine-Tuned Stable Diffusion XL for Controllable and Culturally Faithful Ulos Motif Generation

arxiv url: http://arxiv.org/abs/2609.17987v1
Date: Wed, 16 Sep 2026 01:18:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:53.588977
Title: Multimodal Conditioning of Fine-Tuned Stable Diffusion XL for Controllable and Culturally Faithful Ulos Motif Generation
Title（参考訳）: 制御可能かつ文化的に忠実なUlosモチーフ生成のための細管型安定拡散XLのマルチモーダルコンディショニング
Abstract要約: 伝統的なバタック・ウロス織機産業は、多様で革新的なモチーフを生産する上で、ますます課題に直面している。テキスト、画像、表現、意味マップの4つの補完的条件付けメカニズムは、生成プロセスを共同でガイドする。テキスト・ツー・イメージと画像・画像生成をサポートするウェブベースのプロトタイプも開発され、文化遺産保存のための実用的なデジタルデザインツールが提供された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The traditional Batak Ulos weaving industry faces growing challenges in producing diverse, innovative motifs due to limitations in conventional, manually driven design methods. This study proposes a multimodal generative framework integrating a fine-tuned Latent Diffusion Model (Stable Diffusion XL v1.0 via LoRA) with a Multimodal Large Language Model (LLaMA 1.5-7B) to enable controllable, culturally faithful Ulos motif generation. Four complementary conditioning mechanisms: text, image, representation, and semantic map (via ControlNet) jointly guide the generation process, each governing a distinct aspect from semantic intent to spatial layout. A five level ablation study across three scenarios (shape transformation, colour variation, and high-complexity input) shows that conditioning effectiveness is not proportional to the number of mechanisms combined: Text + Image + Semantic Map achieved the best FID (270) and CLIP Score (0.65 - 0.70) but the weakest SSIM (0.65), while Text + Image + Representation offered the best overall balance, with stable SSIM (0.84) and competitive FID (280). Combining all four mechanisms yielded the weakest FID (330), indicating conflicting optimization signals. Qualitative evaluation by nine weavers and thirty public participants confirmed statistically significant positive acceptance (Wilcoxon, p=0.007 and p<0.001, respectively). A web-based prototype supporting text-to-image and image-to-image generation was also developed, offering a practical digital design tool for cultural heritage preservation.
Abstract（参考訳）: 伝統的なバタック・ウーロス織機産業は、従来の手動設計手法の制限により、多様で革新的なモチーフを創出する上で、ますます課題に直面している。本研究では,制御可能で文化的に忠実なUlosモチーフ生成を実現するために,微調整潜伏拡散モデル (Stable Diffusion XL v1.0 via LoRA) と多モーダル大言語モデル (LLaMA 1.5-7B) を統合する多モーダル生成フレームワークを提案する。テキスト、画像、表現、セマンティックマップの4つの補完的条件付けメカニズムは、生成プロセスを共同でガイドし、それぞれが意味的意図から空間的レイアウトまで、異なる側面を規定する。 Text + Image + Semantic Map は最高の FID (270) と CLIP Score (0.65 - 0.70) を達成したが、最も弱い SSIM (0.65) を達成し、Text + Image + Representation は安定した SSIM (0.84) と競争力のある FID (280) を両立させた。 4つのメカニズムを組み合わせることで、最も弱いFID(330)が得られ、競合する最適化信号を示す。 9人の織工と30人の一般参加者による質的評価の結果,統計的に有意な正の受容が認められた(Wilcoxon, p=0.007, p<0.001)。テキスト・ツー・イメージと画像・画像生成をサポートするウェブベースのプロトタイプも開発され、文化遺産保存のための実用的なデジタルデザインツールが提供された。

関連論文リスト

Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach [43.09390014734485]
本稿では,制約のないビデオにおけるアンビバレンス/ヘシタシー認識のためのマルチモーダルアプローチを提案する。提案手法は,シーン,顔,音声,テキストの4つの相補的モダリティを統合する。 BAHコーパスの実験では、全ての単調基底線上でのマルチモーダル核融合の明らかな利得が示されている。
論文参考訳（メタデータ） (2026-03-13T09:50:03Z)
UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model [50.68870074090426]
我々はUniWeTokを紹介した。UniWeTokはUniified Multimodal Large Language Modelsのための統一された離散トークンである。トレーニングフレームワークとして,個別トークンのセマンティックな抽出と生成を促進するために,プレポスト蒸留とジェネレーティブ・アウェア・プレファレンスを導入する。我々は,UniWeTokの適応性を高めるために,様々な画像解像度と知覚に敏感なシナリオを横断する3段階のトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2026-02-15T15:07:19Z)
DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing [67.77471070868852]
DeepGen 1.0は、画像生成と編集のための軽量な5B統一モデルである。わずか5000万のサンプルでトレーニングされており、WISEでは80BのHunyuan Imageを28%、UniREditBenchでは27BのQwen-Image-Editを37%上回っている。トレーニングコード、ウェイト、データセットをオープンソース化することで、統合マルチモーダルリサーチを民主化する、効率的で高性能な代替手段を提供します。
論文参考訳（メタデータ） (2026-02-12T17:44:24Z)
LightBagel: A Light-weighted, Double Fusion Framework for Unified Multimodal Understanding and Generation [48.02842078521973]
提案手法は, 生成と理解に特化して公開されているモデルを戦略的に融合させることにより, 競争性能をより効率的に得ることができることを示す。我々のキーとなる設計は、ネットワーク全体にわたってマルチモーダルな自己注意ブロックをインターリーブしながら、元のブロックを保持することである。たった35Bトークンでトレーニングすることで、このアプローチは複数のベンチマークで強力な結果が得られる。
論文参考訳（メタデータ） (2025-10-27T02:59:57Z)
Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation [54.588082888166504]
我々は、因果アプローチを通じてインターリーブされたマルチモーダル生成を可能にする統一的なフレームワークであるMogaoを提案する。 Mogooは、Deep-fusion設計、デュアルビジョンエンコーダ、インターリーブされた回転位置埋め込み、マルチモーダル分類器フリーガイダンスなど、アーキテクチャ設計における重要な技術的改善のセットを統合している。実験により,モガオはマルチモーダル理解とテキスト・ツー・イメージ生成において最先端の性能を発揮するとともに,高品質でコヒーレントなインターリーブ・アウトプットの創出にも優れていることが示された。
論文参考訳（メタデータ） (2025-05-08T17:58:57Z)
Tri-FusionNet: Enhancing Image Description Generation with Transformer-based Fusion Network and Dual Attention Mechanism [2.186901738997927]
Tri-FusionNetは、新しい画像記述生成モデルである。ビジョントランスフォーマー(ViT)エンコーダモジュールとデュアルアテンション機構、BERTアプローチ(RoBERTa)デコーダモジュール、Contrastive Language- Image Pre-Training(CLIP)統合モジュールを統合している。その結果,Tri-FusionNetによる高品質な画像記述の有効性が示された。
論文参考訳（メタデータ） (2025-04-23T14:33:29Z)
Evaluating the Effectiveness of XAI Techniques for Encoder-Based Language Models [6.349503549199403]
本研究は,人間関係協定(HA),ロバスト性,一貫性,コントラスト性という,4つの主要な指標を用いた一般的な評価枠組みを提案する。 5種類のXAIカテゴリから6つの説明可能性手法の有効性を評価した。その結果,モデルの単純化に基づくXAI法(LIME)は,複数の指標やモデルに対して一貫して優れていた。
論文参考訳（メタデータ） (2025-01-26T03:08:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。