論文の概要: LLM as an Art Director (LaDi): Using LLMs to improve Text-to-Media Generators

• arxiv url: http://arxiv.org/abs/2311.03716v1
• Date: Tue, 7 Nov 2023 04:44:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:48:32.274946
• Title: LLM as an Art Director (LaDi): Using LLMs to improve Text-to-Media Generators
• Title（参考訳）: LLM as a Art Director (LaDi): LLMを用いたテキスト・メディア・ジェネレータの改良
• Authors: Allen Roush, Emil Zakirov, Artemiy Shirokov, Polina Lunina, Jack Gane, Alexander Duffy, Charlie Basil, Aber Whitcomb, Jim Benedetto, Chris DeWolfe
• Abstract要約: 本稿では,大言語モデル(LLM)を画像およびビデオ生成を向上するアートディレクターとして機能させる技術について述べる。 テキスト・ツー・イメージ・ジェネレータ(T2Is)とテキスト・ツー・ビデオ・ジェネレータ(T2Vs)の能力を増強する複数の技術を統合する方法について検討する。
• 参考スコア（独自算出の注目度）: 33.7054351451505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in text-to-image generation have revolutionized numerous fields, including art and cinema, by automating the generation of high-quality, context-aware images and video. However, the utility of these technologies is often limited by the inadequacy of text prompts in guiding the generator to produce artistically coherent and subject-relevant images. In this paper, We describe the techniques that can be used to make Large Language Models (LLMs) act as Art Directors that enhance image and video generation. We describe our unified system for this called "LaDi". We explore how LaDi integrates multiple techniques for augmenting the capabilities of text-to-image generators (T2Is) and text-to-video generators (T2Vs), with a focus on constrained decoding, intelligent prompting, fine-tuning, and retrieval. LaDi and these techniques are being used today in apps and platforms developed by Plai Labs.
• Abstract（参考訳）: テキスト対画像生成の最近の進歩は、高品質なコンテキスト認識画像やビデオの生成を自動化することによって、アートやシネマを含む多くの分野に革命をもたらした。 しかし、これらの技術の有用性は、ジェネレータに芸術的に一貫性のある主題関連画像を作成するよう誘導するテキストプロンプトの不適切さによって制限されることが多い。 本稿では,Large Language Models (LLM) を画像および映像生成を向上するアートディレクターとして機能させる技術について述べる。 我々はこれをladiと呼ぶ統一システムについて述べる。 本稿では,テキスト・ツー・イメージ・ジェネレータ(T2Is)とテキスト・ツー・ビデオ・ジェネレータ(T2Vs)の能力を増強する複数の技術を統合する方法について考察する。 LaDiとその技術は今日、Plai Labsが開発したアプリやプラットフォームで使われている。

関連論文リスト

• Text-Animator: Controllable Visual Text Video Generation [149.940821790235]
  ビジュアルテキストビデオ生成のための革新的アプローチであるText-Animatorを提案する。 Text-Animatorには、生成されたビデオの視覚的テキスト構造を正確に描写するテキスト埋め込みインジェクションモジュールが含まれている。 また、生成した視覚テキストの安定性を向上させるために、カメラ制御モジュールとテキストリファインメントモジュールを開発する。
  論文  参考訳（メタデータ） (2024-06-25T17:59:41Z)
• LLMGA: Multimodal Large Language Model based Generation Assistant [53.150283805515926]
  画像生成と編集を支援するマルチモーダル大規模言語モデルベース生成アシスタント(LLMGA)を提案する。 我々はMLLMを訓練し、画像生成と編集の特性を把握し、詳細なプロンプトを生成する。 広範な結果から、LLMGAは将来的な生成と編集機能を備えており、より柔軟で拡張性の高いアプリケーションを可能にすることが示されている。
  論文  参考訳（メタデータ） (2023-11-27T13:37:26Z)
• A Survey of AI Text-to-Image and AI Text-to-Video Generators [0.4662017507844857]
  テキスト・トゥ・イメージとテキスト・トゥ・ビデオAI生成モデル(Text-to-Image and Text-to-Video AI generation model)は、ディープラーニングと自然言語処理(NLP)技術を使用して、テキスト記述から画像とビデオを作成する革新的な技術である。 本稿では,テキスト・トゥ・イメージとテキスト・トゥ・ビデオAIの分野における最先端のアプローチについて検討する。
  論文  参考訳（メタデータ） (2023-11-10T17:33:58Z)
• LAMP: Learn A Motion Pattern for Few-Shot-Based Video Generation [44.220329202024494]
  我々は,1つのGPU上で816本の動画でテキストから画像への拡散モデルを学習する,数ショットベースのチューニングフレームワーク LAMP を提案する。 具体的には,コンテンツ生成のための既製のテキスト・ツー・イメージモデルを用いて,第1フレーム条件のパイプラインを設計する。 時間次元の特徴を捉えるため、T2Iモデルの事前訓練された2次元畳み込み層を、新しい時間空間運動学習層に拡張する。
  論文  参考訳（メタデータ） (2023-10-16T19:03:19Z)
• Mini-DALLE3: Interactive Text to Image by Prompting Large Language Models [71.49054220807983]
  一般的な制限は、自然言語記述を用いた安定拡散のようなT2Iモデルとの効果的な通信に持続する。 最近リリースされたDALLE3に触発されて、人間の意図を一致させ、新しいタスク、インタラクティブテキスト・トゥ・イメージ(iT2I)を導入すべく、既存のT2Iシステムを再考した。 我々は,iT2I の LLM を補助的手法と既製の T2I モデルで拡張する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T16:53:40Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)
• Language Models Can See: Plugging Visual Controls in Text Generation [48.05127160095048]
  本稿では,生成プロセスにおいて視覚制御をプラグインする,MAGICと呼ばれる学習不要のフレームワークを提案する。 MAGICは、既製のLM(GPT-2)と画像グラウンドドテキスト生成のための画像テキストマッチングモデル(CLIP)を直接組み合わせた、プラグアンドプレイのフレームワークである。 ゼロショット画像キャプションの課題に対して、MAGICは最先端の手法を顕著なマージンで上回り、27倍のデコードスピードアップを達成している。
  論文  参考訳（メタデータ） (2022-05-05T13:56:18Z)
• Video Generation from Text Employing Latent Path Construction for Temporal Modeling [70.06508219998778]
  ビデオ生成は、機械学習とコンピュータビジョンの分野における最も困難なタスクの1つである。 本稿では,映像生成の条件形式であるテキストから映像生成の問題に取り組む。 自然言語文からのビデオ生成が人工知能に重要な影響を与えると考えている。
  論文  参考訳（メタデータ） (2021-07-29T06:28:20Z)
• TiVGAN: Text to Image to Video Generation with Step-by-Step Evolutionary Generator [34.7504057664375]
  本稿では、フレーム単位で進化し、最終的にフル長のビデオを生成する新しいトレーニングフレームワーク、Text-to-Image-to-Video Generative Adversarial Network (TiVGAN)を提案する。 ステップバイステップの学習プロセスは、トレーニングの安定化を支援し、条件付きテキスト記述に基づく高解像度ビデオの作成を可能にする。
  論文  参考訳（メタデータ） (2020-09-04T06:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。