Fugu-MT 論文翻訳(概要): Image-Based CLIP-Guided Essence Transfer

論文の概要: Image-Based CLIP-Guided Essence Transfer

arxiv url: http://arxiv.org/abs/2110.12427v2
Date: Tue, 26 Oct 2021 06:31:25 GMT
ステータス: 処理完了
システム内更新日: 2021-10-27 11:46:23.912174
Title: Image-Based CLIP-Guided Essence Transfer
Title（参考訳）: 画像ベースCLIP-Guided Essence Transfer
Authors: Hila Chefer, Sagie Benaim, Roni Paiss, Lior Wolf
Abstract要約: 2つの信号のブレンディングは創造性と知性の両方を基礎づける意味的なタスクだ本稿では,ジェネレータネットワークとセマンティックネットワークの2つの潜在空間を組み込んだブレンディングを提案する。
参考スコア（独自算出の注目度）: 83.09110547792103
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The conceptual blending of two signals is a semantic task that may underline both creativity and intelligence. We propose to perform such blending in a way that incorporates two latent spaces: that of the generator network and that of the semantic network. For the first network, we employ the powerful StyleGAN generator, and for the second, the powerful image-language matching network of CLIP. The new method creates a blending operator that is optimized to be simultaneously additive in both latent spaces. Our results demonstrate that this leads to blending that is much more natural than what can be obtained in each space separately.
Abstract（参考訳）: 2つの信号の概念的混合は、創造性と知性の両方を基盤とする意味的タスクである。本稿では,生成ネットワークと意味ネットワークの2つの潜在空間を組み込んだブレンド手法を提案する。第1のネットワークは強力なStyleGANジェネレータを使用し、第2のネットワークはCLIPの強力な画像言語マッチングネットワークである。この新しい方法は、両方の潜在空間に同時に加法されるように最適化されたブレンディング演算子を生成する。その結果、各空間で個別に得られるものよりもずっと自然なブレンドに繋がることが示された。

関連論文リスト

I2I-Galip: Unsupervised Medical Image Translation Using Generative Adversarial CLIP [30.506544165999564]
ペアの例が存在しないため、画像から画像への翻訳は難しい作業である。我々はイメージ・ツー・イメージ・ジェネレーティブ・アドバイザリアル・CLIP (I2I-Galip) という新しい画像・画像変換フレームワークを提案する。
論文参考訳（メタデータ） (2024-09-19T01:44:50Z)
Double-Shot 3D Shape Measurement with a Dual-Branch Network [14.749887303860717]
我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。 PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できることを示す。
論文参考訳（メタデータ） (2024-07-19T10:49:26Z)
Gradient Adjusting Networks for Domain Inversion [82.72289618025084]
StyleGAN2はセマンティック編集をサポートする強力な画像生成エンジンであることが実証された。本稿では,画像毎の最適化手法を提案する。この手法は,生成元の重みを局所的に編集できるように,StyleGAN2ジェネレータをチューニングする。我々の実験は、この非常にアクティブな領域における最先端技術よりも大きなパフォーマンス差を示している。
論文参考訳（メタデータ） (2023-02-22T14:47:57Z)
CLIP2GAN: Towards Bridging Text with the Latent Space of GANs [128.47600914674985]
本稿では,CLIPモデルとStyleGANを利用した新しいフレームワークであるCLIP2GANを提案する。 CLIP2GANのキーとなるアイデアは、CLIPの出力機能埋め込みスペースとStyleGANの入力潜在スペースをブリッジすることです。
論文参考訳（メタデータ） (2022-11-28T04:07:17Z)
Local and Global GANs with Semantic-Aware Upsampling for Image Generation [201.39323496042527]
ローカルコンテキストを用いて画像を生成することを検討する。セマンティックマップをガイダンスとして用いたクラス固有の生成ネットワークを提案する。最後に,セマンティック・アウェア・アップサンプリング手法を提案する。
論文参考訳（メタデータ） (2022-02-28T19:24:25Z)
A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
論文参考訳（メタデータ） (2021-12-08T22:06:31Z)
DiverGAN: An Efficient and Effective Single-Stage Framework for Diverse Text-to-Image Generation [7.781425222538382]
DiverGANは、自然言語による記述に従って、多様で、可塑性で、セマンティックに一貫性のある画像を生成するためのフレームワークである。 DiverGANは2つの新しいワードレベルアテンションモジュール、すなわちチャネルアテンションモジュール(CAM)とピクセルアテンションモジュール(PAM)を採用する。条件適応型インスタンス-階層正規化(CAdaILN)を導入し、文の埋め込みから、形やテクスチャの変化量を柔軟に操作する言語的手がかりを実現する。
論文参考訳（メタデータ） (2021-11-17T17:59:56Z)
SegMix: Co-occurrence Driven Mixup for Semantic Segmentation and Adversarial Robustness [29.133980156068482]
本稿では,競合する仮説から生じる干渉を効果的に解決するために,畳み込みニューラルネットワークを訓練する戦略を提案する。この前提は機能バインディングの概念に基づいており、ネットワーク内の層と空間にまたがるアクティベーションがうまく統合され、正しい推論決定に達するプロセスとして定義される。
論文参考訳（メタデータ） (2021-08-23T04:35:48Z)
Feature Sharing Cooperative Network for Semantic Segmentation [10.305130700118399]
協調学習を用いた意味セグメンテーション手法を提案する。特徴マップを共有することにより、2つのネットワークのうちの1つが1つのネットワークで取得できない情報を得ることができる。提案手法は従来の単一ネットワークやネットワークアンサンブルよりも高いセグメンテーション精度を実現した。
論文参考訳（メタデータ） (2021-01-20T00:22:00Z)
OneGAN: Simultaneous Unsupervised Learning of Conditional Image Generation, Foreground Segmentation, and Fine-Grained Clustering [100.32273175423146]
本研究では、教師なしの方法で、条件付き画像生成装置、前景抽出とセグメンテーション、オブジェクトの削除と背景補完を同時に学習する方法を提案する。 Geneversarative Adrial Network と Variational Auto-Encoder を組み合わせることで、複数のエンコーダ、ジェネレータ、ディスクリミネータを組み合わせ、全てのタスクを一度に解くことができる。
論文参考訳（メタデータ） (2019-12-31T18:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。