論文の概要: An Image is Worth Multiple Words: Learning Object Level Concepts using Multi-Concept Prompt Learning

• arxiv url: http://arxiv.org/abs/2310.12274v1
• Date: Wed, 18 Oct 2023 19:18:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 18:07:14.398872
• Title: An Image is Worth Multiple Words: Learning Object Level Concepts using Multi-Concept Prompt Learning
• Title（参考訳）: 画像は価値ある複数の単語である:多概念プロンプト学習を用いたオブジェクトレベル概念の学習
• Authors: Chen Jin, Ryutaro Tanno, Amrutha Saseendran, Tom Diethe, Philip Teare
• Abstract要約: テクスチュラル・インバージョンは、画像のスタイルと外観を表現するために、新しい「単語」のための特異な埋め込みを学ぶ。 本稿では,複数の単語を1つの文と画像のペアから同時に学習するMCPL(Multi-Concept Prompt Learning)フレームワークを提案する。 画像生成,編集,多彩な画像による注意の可視化による評価を行った。
• 参考スコア（独自算出の注目度）: 9.640238242565621
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Textural Inversion, a prompt learning method, learns a singular embedding for a new "word" to represent image style and appearance, allowing it to be integrated into natural language sentences to generate novel synthesised images. However, identifying and integrating multiple object-level concepts within one scene poses significant challenges even when embeddings for individual concepts are attainable. This is further confirmed by our empirical tests. To address this challenge, we introduce a framework for Multi-Concept Prompt Learning (MCPL), where multiple new "words" are simultaneously learned from a single sentence-image pair. To enhance the accuracy of word-concept correlation, we propose three regularisation techniques: Attention Masking (AttnMask) to concentrate learning on relevant areas; Prompts Contrastive Loss (PromptCL) to separate the embeddings of different concepts; and Bind adjective (Bind adj.) to associate new "words" with known words. We evaluate via image generation, editing, and attention visualisation with diverse images. Extensive quantitative comparisons demonstrate that our method can learn more semantically disentangled concepts with enhanced word-concept correlation. Additionally, we introduce a novel dataset and evaluation protocol tailored for this new task of learning object-level concepts.
• Abstract（参考訳）: プロンプト学習法であるtextural inversionは、画像のスタイルと外観を表現する新しい「単語」のための特異な埋め込みを学習し、自然言語文に統合して新しい合成画像を生成することができる。 しかし、複数のオブジェクトレベルの概念を1つのシーンで識別し統合することは、個々の概念への埋め込みが達成可能であったとしても、重大な課題となる。 これは我々の経験的テストによってさらに確認される。 この課題に対処するために,複数の新しい単語を1つの文と画像のペアから同時に学習するMCPL(Multi-Concept Prompt Learning)フレームワークを提案する。 単語-概念相関の精度を高めるために、関連する領域の学習に集中するための注意的マスキング(AttnMask)、異なる概念の埋め込みを分離するためのPrompts Contrastive Loss(PromptCL)、既知の単語に新しい「単語」を関連付けるBind形容詞(Bind adj.)の3つの正規化手法を提案する。 画像生成,編集,多彩な画像による注意の可視化による評価を行った。 広範囲な定量的比較により,本手法は単語と概念の相関性を高め,より意味論的に絡み合った概念を学習できることが示される。 さらに,オブジェクト指向概念を学習する新たな課題に合わせた,新たなデータセットと評価プロトコルを提案する。

関連論文リスト

• TIPS: Text-Image Pretraining with Spatial Awareness [13.38247732379754]
  自己教師付き画像のみの事前訓練は、多くの視覚的応用にとって依然としてゴートな方法である。 本稿では,高密度かつ大域的な視覚タスクに有効な汎用画像テキストモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-21T21:05:04Z)
• Decoupled Textual Embeddings for Customized Image Generation [62.98933630971543]
  カスタマイズされたテキスト・ツー・イメージ生成は、ユーザが指定した概念を少数の画像で学習することを目的としている。 既存の方法は、通常、過剰な問題に悩まされ、学習された概念と対象と無関係な情報を絡み合わせる。 フレキシブルなテキスト・ツー・イメージ生成のための不整合概念の埋め込みを学習する新しいアプローチであるDETEXを提案する。
  論文  参考訳（メタデータ） (2023-12-19T03:32:10Z)
• Create Your World: Lifelong Text-to-Image Diffusion [75.14353789007902]
  本稿では,過去の概念の「破滅的忘れ」を克服するために,ライフロングテキスト・画像拡散モデル(L2DM)を提案する。 我々のL2DMフレームワークは,知識の「破滅的忘れ」に関して,タスク対応メモリ拡張モジュールと弾性概念蒸留モジュールを考案している。 我々のモデルは、質的および定量的な指標の両方の観点から、連続的なテキストプロンプトの範囲にわたって、より忠実な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:45:56Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)
• Multimodal Few-Shot Learning with Frozen Language Models [36.75551859968596]
  我々は視覚エンコーダを訓練し、各画像を連続的な埋め込みの列として表現し、この接頭辞で誘導される事前学習された凍結言語モデルが適切なキャプションを生成するようにした。 得られたシステムはマルチモーダルな数ショット学習者であり、実例で条件付けされた場合、驚くほど多くの新しいタスクを学習できる。
  論文  参考訳（メタデータ） (2021-06-25T21:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。