論文の概要: Text-to-Image Cross-Modal Generation: A Systematic Review
- arxiv url: http://arxiv.org/abs/2401.11631v1
- Date: Sun, 21 Jan 2024 23:54:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:33:07.147069
- Title: Text-to-Image Cross-Modal Generation: A Systematic Review
- Title（参考訳）: テキストから画像へのクロスモーダル生成:システムレビュー
- Authors: Maciej \.Zelaszczyk, Jacek Ma\'ndziuk
- Abstract要約: 我々は「クロスモーダル・ジェネレーション」の角度からテキストから視覚データを生成する研究についてレビューする。
本稿では,テキストから画像への生成を,テキストから画像への変換,ビデオからテキストへの変換,画像編集,自己教師付き,グラフベースのアプローチの様々な特徴に分解する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We review research on generating visual data from text from the angle of
"cross-modal generation." This point of view allows us to draw parallels
between various methods geared towards working on input text and producing
visual output, without limiting the analysis to narrow sub-areas. It also
results in the identification of common templates in the field, which are then
compared and contrasted both within pools of similar methods and across lines
of research. We provide a breakdown of text-to-image generation into various
flavors of image-from-text methods, video-from-text methods, image editing,
self-supervised and graph-based approaches. In this discussion, we focus on
research papers published at 8 leading machine learning conferences in the
years 2016-2022, also incorporating a number of relevant papers not matching
the outlined search criteria. The conducted review suggests a significant
increase in the number of papers published in the area and highlights research
gaps and potential lines of investigation. To our knowledge, this is the first
review to systematically look at text-to-image generation from the perspective
of "cross-modal generation."
- Abstract（参考訳）: テキストから視覚データを生成するための「クロスモーダル生成」の角度からの研究をレビューする。
この視点では、入力テキストの処理と視覚的出力の生成を目的とした様々な手法間の並列を、分析を狭い部分領域に限定することなく描画できる。
また、フィールド内の一般的なテンプレートを識別し、類似のメソッドのプール内と研究の行間で比較、対比する。
本稿では,テキストから画像へ生成する手法,テキストから映像へ生成する手法,画像編集手法,自己教師付き手法,グラフベースの手法について解説する。
この議論では,2016-2022年の第8回機械学習カンファレンスで発表された研究論文に注目し,概略された検索基準に合致しない関連論文をいくつか取り入れた。
調査の結果,本地域での論文数の増加が示唆され,研究のギャップと潜在的調査線が強調された。
我々の知る限り、これは「クロスモーダル世代」の観点から、テキスト・画像生成を体系的に検討する最初のレビューである。
関連論文リスト
- Refining Text-to-Image Generation: Towards Accurate Training-Free Glyph-Enhanced Image Generation [5.55027585813848]
視覚テキストを生成する能力は重要であり、学術的関心と幅広い実践的応用の両方を提供する。
我々はLenCom-Evalというベンチマークを導入し、Lengthy と Complex Visual Text を用いて画像を生成するモデルの性能をテストする。
ここでは,CLIPSスコア,OCR精度,リコール,F1スコア,精度,距離スコアの編集など,様々な評価指標に対する顕著な改善点を示す。
論文 参考訳（メタデータ） (2024-03-25T04:54:49Z) - Leveraging Open-Vocabulary Diffusion to Camouflaged Instance
Segmentation [59.78520153338878]
テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。
そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
論文 参考訳（メタデータ） (2023-12-29T07:59:07Z) - Text-to-image Diffusion Models in Generative AI: A Survey [86.11421833017693]
本調査は,テキストから画像を生成する際の拡散モデルの進展を概観する。
ビデオなどの様々なモダリティのためのテキスト誘導生成や、テキスト誘導画像編集など、画像生成以外の応用について論じる。
論文 参考訳（メタデータ） (2023-03-14T13:49:54Z) - SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。
シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。
現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
論文 参考訳（メタデータ） (2022-11-25T18:59:10Z) - Where Does the Performance Improvement Come From? - A Reproducibility
Concern about Image-Text Retrieval [85.03655458677295]
画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。
まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。
本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
論文 参考訳（メタデータ） (2022-03-08T05:01:43Z) - Self-Supervised Image-to-Text and Text-to-Image Synthesis [23.587581181330123]
クロスモーダルな埋め込み空間を学習するための,新たな自己教師型深層学習手法を提案する。
そこで本研究では,まず,StackGANベースのオートエンコーダモデルを用いて画像の高密度ベクトル表現と,LSTMベースのテキストオートエンコーダを用いた文レベルでの高密度ベクトル表現を得る。
論文 参考訳（メタデータ） (2021-12-09T13:54:56Z) - From Show to Tell: A Survey on Image Captioning [48.98681267347662]
視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。
画像キャプションの研究はまだ結論に達していない。
本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
論文 参考訳（メタデータ） (2021-07-14T18:00:54Z) - Improving Generation and Evaluation of Visual Stories via Semantic
Consistency [72.00815192668193]
一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。
それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。
従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
論文 参考訳（メタデータ） (2021-05-20T20:42:42Z) - Survey of Visual-Semantic Embedding Methods for Zero-Shot Image
Retrieval [0.6091702876917279]
本稿では,文をクエリとして用いたゼロショット画像検索に着目し,この分野の技術動向調査を行う。
私たちは、画像とテキストのマッチングの初期の研究の議論から始まる技術の歴史の包括的な概要を提供します。
実験で一般的に使用されるデータセットの記述と,各手法の評価結果の比較を行った。
論文 参考訳（メタデータ） (2021-05-16T09:43:25Z) - Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image
Classification and Retrieval [8.317191999275536]
本稿では,視覚的・テキスト的手がかりの形でマルチモーダルコンテンツを活用することで,微細な画像分類と検索の課題に取り組むことに焦点を当てる。
画像中の有意なオブジェクトとテキスト間の共通意味空間を学習することにより、マルチモーダル推論を行い、関係強化された特徴を得るためにグラフ畳み込みネットワークを用いる。
論文 参考訳（メタデータ） (2020-09-21T12:31:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。