Fugu-MT 論文翻訳(概要): Image Generation from Image Captioning -- Invertible Approach

論文の概要: Image Generation from Image Captioning -- Invertible Approach

arxiv url: http://arxiv.org/abs/2410.20171v1
Date: Sat, 26 Oct 2024 13:02:58 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-29 12:22:45.340397
Title: Image Generation from Image Captioning -- Invertible Approach
Title（参考訳）: 画像キャプションからの画像生成 -可逆的アプローチ-
Authors: Nandakishore S Menon, Chandramouli Kamanchi, Raghuram Bharadwaj Diddigi,
Abstract要約: 画像とテキストの埋め込みを1対1でマッピングする非可逆モデルを訓練する。インバーチブルモデルが1つのタスクで効率的に訓練されると、画像キャプションは、同じモデルが与えられたテキストに対して新しい画像を生成することができる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Our work aims to build a model that performs dual tasks of image captioning and image generation while being trained on only one task. The central idea is to train an invertible model that learns a one-to-one mapping between the image and text embeddings. Once the invertible model is efficiently trained on one task, the image captioning, the same model can generate new images for a given text through the inversion process, with no additional training. This paper proposes a simple invertible neural network architecture for this problem and presents our current findings.
Abstract（参考訳）: 本研究の目的は,画像キャプションと画像生成の2つのタスクを1つのタスクで訓練しながら行うモデルの構築である。中心となる考え方は、画像とテキストの埋め込みを1対1でマッピングする非可逆モデルをトレーニングすることである。画像をキャプションすると、同じモデルがインバージョン処理によって与えられたテキストの新しいイメージを、追加のトレーニングなしで生成することができる。本稿では,この問題に対する単純な非可逆ニューラルネットワークアーキテクチャを提案する。

関連論文リスト

Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。画像生成のための*multi-modal instruction*を導入する。画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
論文参考訳（メタデータ） (2024-01-03T19:31:58Z)
In-Context Learning Unlocked for Diffusion Models [163.54453915874402]
本稿では,拡散に基づく生成モデルにおいて,文脈内学習を可能にするフレームワークであるPrompt Diffusionを提案する。本稿では,幅広い視覚言語タスクをモデル化可能な視覚言語プロンプトと,それを入力とする拡散モデルを提案する。結果として得られるPrompt Diffusionモデルは、文脈内学習が可能な初めての拡散に基づく視覚言語基礎モデルである。
論文参考訳（メタデータ） (2023-05-01T23:03:37Z)
Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
論文参考訳（メタデータ） (2022-11-22T20:39:18Z)
Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text [93.11954811297652]
我々は、モダリティ固有のトークン化器、共有トランスフォーマーエンコーダ、タスク固有の出力ヘッドからなる統一型トランスフォーマーを設計する。我々は、個別に訓練されたBERTモデルとViTモデルを教師として採用し、知識蒸留を適用して、より正確な監視信号を提供する。実験の結果、統合基盤変換器は視覚のみのタスクとテキストのみのタスクの両方で驚くほどうまく機能することがわかった。
論文参考訳（メタデータ） (2021-12-14T00:20:55Z)
EdiBERT, a generative model for image editing [12.605607949417033]
EdiBERTは、ベクトル量子化オートエンコーダによって構築された離散潜在空間で訓練された双方向変換器である。結果のモデルが,多種多様なタスクにおける最先端のパフォーマンスと一致することを示す。
論文参考訳（メタデータ） (2021-11-30T10:23:06Z)
Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic [72.60554897161948]
最近のテキストと画像のマッチングモデルは、未修正画像と文の大きなコーパスに対してコントラスト学習を適用している。本研究では、そのようなモデルを用いて、推論時に画像が与えられた記述テキストを生成する。結果として得られたキャプションは、教師付きキャプション法によるキャプションよりもはるかに制限を受けない。
論文参考訳（メタデータ） (2021-11-29T11:01:49Z)
LAFITE: Towards Language-Free Training for Text-to-Image Generation [83.2935513540494]
テキストデータなしでテキストから画像への生成モデルをトレーニングするための最初の作業を提案する。提案手法は,CLIPモデルのマルチモーダルなセマンティック空間の整合性を活用している。我々は,標準的なテキスト・画像生成タスクにおいて,最先端の結果を得る。
論文参考訳（メタデータ） (2021-11-27T01:54:45Z)
Meta Internal Learning [88.68276505511922]
単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
論文参考訳（メタデータ） (2021-10-06T16:27:38Z)
Efficient Neural Architecture for Text-to-Image Synthesis [6.166295570030645]
本研究では,1つのジェネレータと1つの判別器を用いた1段階の訓練により,効果的なニューラルネットワークが最先端の性能を達成することを示す。本研究は,近年,新しいニューラルアーキテクチャの実験を行っていないテキスト・ツー・イメージ研究の新たな方向性を指摘する。
論文参考訳（メタデータ） (2020-04-23T19:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。