論文の概要: FashionLOGO: Prompting Multimodal Large Language Models for Fashion Logo Embeddings

• arxiv url: http://arxiv.org/abs/2308.09012v2
• Date: Mon, 9 Sep 2024 14:42:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 04:13:49.965184
• Title: FashionLOGO: Prompting Multimodal Large Language Models for Fashion Logo Embeddings
• Title（参考訳）: FashionLOGO: Fashion Logo Embeddingsのためのマルチモーダル大規模言語モデルの提案
• Authors: Zhen Wang, Da Li, Yulin Su, Min Yang, Minghui Qiu, Walton Wang,
• Abstract要約: 本稿では,MLLMに製品画像の適切なテキストを生成するよう促すアプローチを提案する。 実世界のデータセットに関する我々の実験は、FashionLOGOが汎用的で堅牢なロゴ埋め込みを生成することができることを証明している。
• 参考スコア（独自算出の注目度）: 26.395196542803543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logo embedding models convert the product logos in images into vectors, enabling their utilization for logo recognition and detection within e-commerce platforms. This facilitates the enforcement of intellectual property rights and enhances product search capabilities. However, current methods treat logo embedding as a purely visual problem. A noteworthy issue is that visual models capture features more than logos. Instead, we view this as a multimodal task, using text as auxiliary information to facilitate the visual model's understanding of the logo. The emerging Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in both visual and textual understanding. Inspired by this, we propose an approach, \textbf{FashionLOGO}, to explore how to prompt MLLMs to generate appropriate text for product images, which can help visual models achieve better logo embeddings. We adopt a cross-attention transformer block that enables visual embedding to automatically learn supplementary knowledge from textual embedding. Our extensive experiments on real-world datasets prove that FashionLOGO is capable of generating generic and robust logo embeddings, achieving state-of-the-art performance in all benchmarks.
• Abstract（参考訳）: ロゴ埋め込みモデルは、製品のロゴをベクターに変換し、Eコマースプラットフォーム内のロゴ認識と検出に利用できるようにする。 これにより知的財産権の行使が促進され、製品検索能力が向上する。 しかし、現在の手法では、ロゴの埋め込みは純粋に視覚的な問題として扱われている。 注目すべき問題は、視覚モデルがロゴよりも特徴を捉えていることだ。 代わりに、私たちはこれをマルチモーダルタスクとみなし、テキストを補助情報として使用して、視覚モデルによるロゴの理解を促進する。 MLLM(Multimodal Large Language Models)は、視覚的およびテキスト的理解において顕著な機能を示す。 そこで本研究では,MLLMに製品画像の適切なテキストを生成する方法を探るためのアプローチである「textbf{FashionLOGO}」を提案する。 テキスト埋め込みから補足的知識を自動的に学習できるクロスアテンション・トランスフォーマー・ブロックを採用する。 実世界のデータセットに関する広範な実験により、FashionLOGOは汎用的で堅牢なロゴ埋め込みを生成し、すべてのベンチマークで最先端のパフォーマンスを達成することができることが証明された。

関連論文リスト

• LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models [60.67899965748755]
  両ビジュアルエンコーダとビジュアルテキストエンコーダを併用したマルチモーダル大規模言語モデルであるLLaVA-Readを提案する。 我々の研究は、ビジュアルテキスト理解は依然としてオープンな課題であり、将来のマルチモーダルシステムにとって効率的なビジュアルテキストエンコーダが不可欠であることを示唆している。
  論文  参考訳（メタデータ） (2024-07-27T05:53:37Z)
• LogoSticker: Inserting Logos into Diffusion Models for Customized Generation [73.59571559978278]
  テキスト・ツー・イメージ・モデルにロゴを挿入する作業を導入する。 我々の目標は、ロゴのアイデンティティを拡散モデルに挿入し、様々な状況下でシームレスに合成できるようにすることです。 この課題に対処するために,新しい2相パイプラインLogoStickerを提案する。
  論文  参考訳（メタデータ） (2024-07-18T17:54:49Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Beyond Text: Frozen Large Language Models in Visual Signal Comprehension [34.398976855955404]
  Vision-to-Language Tokenizer(V2T Tokenizer)は、エンコーダデコーダ、LLM語彙、CLIPモデルを組み合わせて、画像を「外国語」に変換する。 我々は、画像認識、画像キャプション、視覚的質問応答などの理解タスクを含む、厳密な実験を行い、また、塗り絵、アウトペイント、デブロアリング、シフト復元などの画像装飾タスクを実施。
  論文  参考訳（メタデータ） (2024-03-12T17:59:51Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models [24.456117679941816]
  Contrastive Reading Model (Cream)は、Large Language Models (LLM)の言語画像理解能力を高めるために設計された、新しいニューラルネットワークである。 我々のアプローチは、視覚と言語理解のギャップを埋め、より洗練されたドキュメントインテリジェンスアシスタントの開発の道を開く。
  論文  参考訳（メタデータ） (2023-05-24T11:59:13Z)
• Contrastive Multi-View Textual-Visual Encoding: Towards One Hundred Thousand-Scale One-Shot Logo Identification [2.243832625209014]
  オープン・セットのワンショット・セッティングにおいて,ビジネスブランドのロゴを自然シーンで識別する問題について検討する。 ロゴに現れるテキストをエンコードする新しい多視点テキスト視覚符号化フレームワークを提案する。 提案手法は, 自然シーンの作業において, 作付ロゴ識別, 作付ロゴ識別, エンド・ツー・エンドのロゴ識別を行う。
  論文  参考訳（メタデータ） (2022-11-23T12:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。