論文の概要: LLMPopcorn: An Empirical Study of LLMs as Assistants for Popular Micro-video Generation

• arxiv url: http://arxiv.org/abs/2502.12945v2
• Date: Wed, 19 Feb 2025 02:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 10:37:15.459475
• Title: LLMPopcorn: An Empirical Study of LLMs as Assistants for Popular Micro-video Generation
• Title（参考訳）: LLMPopcorn:人気のマイクロビデオ生成アシスタントとしてのLCMの実証研究
• Authors: Junchen Fu, Xuri Ge, Kaiwen Zheng, Ioannis Arapakis, Xin Xin, Joemon M. Jose,
• Abstract要約: DeepSeek-V3のような先進的な言語モデルによって、マイクロビデオ生成が人間の作ったコンテンツに匹敵する人気を達成できることを示す。 Promptの拡張により、さらに人気が高まり、ベンチマークでは、LLMのDeepSeek-V3とDeepSeek-R1が強調されている。 この先駆的な研究は、AIが支援するマイクロビデオの作成を前進させ、新たな研究機会を明らかにする。
• 参考スコア（独自算出の注目度）: 7.325774012201021
• License:
• Abstract: Popular Micro-videos, dominant on platforms like TikTok and YouTube, hold significant commercial value. The rise of high-quality AI-generated content has spurred interest in AI-driven micro-video creation. However, despite the advanced capabilities of large language models (LLMs) like ChatGPT and DeepSeek in text generation and reasoning, their potential to assist the creation of popular micro-videos remains largely unexplored. In this paper, we conduct an empirical study on LLM-assisted popular micro-video generation (LLMPopcorn). Specifically, we investigate the following research questions: (i) How can LLMs be effectively utilized to assist popular micro-video generation? (ii) To what extent can prompt-based enhancements optimize the LLM-generated content for higher popularity? (iii) How well do various LLMs and video generators perform in the popular micro-video generation task? By exploring these questions, we show that advanced LLMs like DeepSeek-V3 enable micro-video generation to achieve popularity comparable to human-created content. Prompt enhancements further boost popularity, and benchmarking highlights DeepSeek-V3 and DeepSeek-R1 among LLMs, while LTX-Video and HunyuanVideo lead in video generation. This pioneering work advances AI-assisted micro-video creation, uncovering new research opportunities. We will release the code and datasets to support future studies.
• Abstract（参考訳）: TikTokやYouTubeなどのプラットフォームに支配的な人気のマイクロビデオは、大きな商業的価値を持っている。 高品質なAI生成コンテンツの台頭は、AI駆動のマイクロビデオ制作への関心を喚起している。 しかし、テキスト生成や推論においてChatGPTやDeepSeekのような大規模言語モデル(LLM)の高度な能力にもかかわらず、人気のあるマイクロビデオの作成を支援する可能性はほとんど解明されていない。 本稿では,LLMPopcorn(LLM-assisted popular micro-video generation)に関する実証的研究を行った。 具体的には,以下の研究課題について考察する。 (i)LLMを有効活用して人気のマイクロビデオ生成を支援するにはどうすればよいか。 (ii) プロンプトベースの拡張により、LLM生成コンテンツをより高い人気のために最適化できるか? 三 マイクロビデオ生成タスクにおいて、様々なLCMやビデオジェネレータがどの程度機能するか。 これらの質問を探索することにより、DeepSeek-V3のような先進的なLCMによって、マイクロビデオ生成が、人間の作ったコンテンツに匹敵する人気を達成できることが示される。 Promptの拡張により、さらに人気が高まり、LLMではDeepSeek-V3とDeepSeek-R1が、LTX-VideoとHunyuanVideoがビデオ生成をリードしている。 この先駆的な研究は、AIが支援するマイクロビデオの作成を前進させ、新たな研究機会を明らかにする。 将来の研究をサポートするために、コードとデータセットをリリースします。

関連論文リスト

• InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
  本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。 InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。 実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-01-21T18:59:00Z)
• How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs [98.37571997794072]
  CVRR-ES(Complex Video Reasoning and Robustness Evaluation Suite)について紹介する。 CVRR-ESは、11種類の実世界のビデオ次元にわたるビデオLMMの性能を包括的に評価する。 我々の発見は、次世代の人間中心AIシステムを構築する上で貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:45Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Understanding Long Videos with Multimodal Language Models [44.78900245769057]
  LLM(Large Language Models)は、長いビデオ理解ベンチマークにおいて優れたパフォーマンスを達成するために、最近のアプローチを可能にしている。 本研究では,LLMの広範な世界知識と強力な推論能力が,この強みにどのように影響するかを考察する。 得られたマルチモーダルビデオ理解フレームワークは、複数のビデオ理解ベンチマークで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:59:09Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• A Survey on Generative AI and LLM for Video Generation, Understanding, and Streaming [26.082980156232086]
  生成人工知能(Generative AI)と大規模言語モデル(LLM)は、ビデオ技術の分野を変えつつある。 この論文は、高度にリアルなビデオ制作におけるこれらの技術の革新的利用を強調している。 ビデオストリーミングの分野では、LLMがより効率的でユーザ中心のストリーミング体験にどのように貢献するかを論じる。
  論文  参考訳（メタデータ） (2024-01-30T14:37:10Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
  既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。 我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。 VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
  論文  参考訳（メタデータ） (2023-05-22T17:51:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。