論文の概要: Preliminary Explorations with GPT-4o(mni) Native Image Generation

• arxiv url: http://arxiv.org/abs/2505.05501v1
• Date: Tue, 06 May 2025 19:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:09.99372
• Title: Preliminary Explorations with GPT-4o(mni) Native Image Generation
• Title（参考訳）: GPT-4o(mni)ネイティブ画像生成による予備探査
• Authors: Pu Cao, Feng Zhou, Junyi Ji, Qingye Kong, Zhixiang Lv, Mingjian Zhang, Xuekun Zhao, Siqi Wu, Yinghui Lin, Qing Song, Lu Yang,
• Abstract要約: 近年、GPT-4o(mni)による視覚生成能力はOpenAIによってアンロックされている。 本稿では,様々なタスクにまたがるGPT-4oの能力について検討する。
• 参考スコア（独自算出の注目度）: 7.700772640399941
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recently, the visual generation ability by GPT-4o(mni) has been unlocked by OpenAI. It demonstrates a very remarkable generation capability with excellent multimodal condition understanding and varied task instructions. In this paper, we aim to explore the capabilities of GPT-4o across various tasks. Inspired by previous study, we constructed a task taxonomy along with a carefully curated set of test samples to conduct a comprehensive qualitative test. Benefiting from GPT-4o's powerful multimodal comprehension, its image-generation process demonstrates abilities surpassing those of traditional image-generation tasks. Thus, regarding the dimensions of model capabilities, we evaluate its performance across six task categories: traditional image generation tasks, discriminative tasks, knowledge-based generation, commonsense-based generation, spatially-aware image generation, and temporally-aware image generation. These tasks not only assess the quality and conditional alignment of the model's outputs but also probe deeper into GPT-4o's understanding of real-world concepts. Our results reveal that GPT-4o performs impressively well in general-purpose synthesis tasks, showing strong capabilities in text-to-image generation, visual stylization, and low-level image processing. However, significant limitations remain in its ability to perform precise spatial reasoning, instruction-grounded generation, and consistent temporal prediction. Furthermore, when faced with knowledge-intensive or domain-specific scenarios, such as scientific illustrations or mathematical plots, the model often exhibits hallucinations, factual errors, or structural inconsistencies. These findings suggest that while GPT-4o marks a substantial advancement in unified multimodal generation, there is still a long way to go before it can be reliably applied to professional or safety-critical domains.
• Abstract（参考訳）: 近年、GPT-4o(mni)による視覚生成能力はOpenAIによってアンロックされている。 これは、優れたマルチモーダル条件理解と多様なタスク命令を備えた、非常に優れた生成能力を示す。 本稿では,様々なタスクにまたがるGPT-4oの能力について検討する。 従来の研究から着想を得たタスク分類法を,精巧にキュレートされたテストサンプル群とともに構築し,総合的な定性試験を行った。 GPT-4oの強力なマルチモーダル理解を活かして、画像生成プロセスは、従来の画像生成タスクを上回る能力を示す。 そこで本研究では,従来の画像生成タスク,識別タスク,知識ベース生成,コモンセンスベース生成,空間認識画像生成,時間認識画像生成の6つのタスクカテゴリにおいて,その性能を評価する。 これらのタスクは、モデルの出力の品質と条件の整合性を評価するだけでなく、実世界の概念に対するGPT-4oの理解を深く探究する。 この結果から,GPT-4oはテキスト・ツー・イメージ生成,視覚的スタイリゼーション,低レベルの画像処理などにおいて,汎用的な合成タスクにおいて優れた性能を発揮することがわかった。 しかし、正確な空間推論、命令基底生成、一貫した時間予測を行う能力には、大きな制限が残っている。 さらに、科学的イラストや数学的プロットのような知識集約的あるいはドメイン固有のシナリオに直面した場合、このモデルはしばしば幻覚、事実的誤り、構造的矛盾を示す。 これらの結果から, GPT-4oは統合マルチモーダル・ジェネレーションの大幅な進歩を示すが, プロや安全上重要な領域に確実に適用できるまでには, まだまだ長い道のりが残っていることが示唆された。

関連論文リスト

• SridBench: Benchmark of Scientific Research Illustration Drawing of Image Generation Model [21.81341169834812]
  SridBenchは、科学フィギュア生成のための最初のベンチマークである。 これは13の自然科学とコンピュータ科学の分野にわたる主要な科学論文から1,120の事例で構成されている。 その結果、GPT-4o画像のような最上位モデルでさえ、人間のパフォーマンスに遅れがあることが判明した。
  論文  参考訳（メタデータ） (2025-05-28T08:51:01Z)
• BLIP3-o: A Family of Fully Open Unified Multimodal Models-Architecture, Training and Dataset [140.1967962502411]
  本稿では,拡散変換器を用いて意味的にリッチなCLIP画像特徴を生成する手法を提案する。 画像理解のための統合モデルファーストトレーニングと画像生成のための逐次事前学習戦略は、実用的な利点をもたらす。 革新的なモデル設計、トレーニングレシピ、データセットに基づいて、最先端の統一マルチモーダルモデルのスイートであるBLIP3-oを開発します。
  論文  参考訳（メタデータ） (2025-05-14T17:11:07Z)
• A Preliminary Study for GPT-4o on Image Restoration [7.784948465884567]
  OpenAIのGPT-4oモデルは、画像生成において前例のない性能を示した。 各種修復作業におけるGPT-4oの系統的評価について検討した。
  論文  参考訳（メタデータ） (2025-05-08T20:00:11Z)
• Have we unified image generation and understanding yet? An empirical study of GPT-4o's image generation ability [6.586119023242877]
  OpenAIのマルチモーダルGPT-4oは、画像生成と編集において顕著な機能を示した。 しかし、世界知識による意味合成を実現する能力は証明されていない。 我々の研究は、より堅牢なベンチマークとトレーニング戦略の開発を要求する。
  論文  参考訳（メタデータ） (2025-04-09T16:10:15Z)
• An Empirical Study of GPT-4o Image Generation Capabilities [40.86026243294732]
  我々は、GPT-4oの画像生成能力について実証的研究を行い、主要なオープンソースおよび商用モデルと比較した。 本分析では, GPT-4oの強度と限界を様々な条件下で強調し, GPT-4oを生成モデリングのより広範な進化に導いてくれる。
  論文  参考訳（メタデータ） (2025-04-08T12:34:36Z)
• GPT-ImgEval: A Comprehensive Benchmark for Diagnosing GPT4o in Image Generation [28.235805447825896]
  OpenAIのGPT4oモデルは、画像生成と編集において驚くほど優れた機能を示している。 本報告では、GPT-ImgEvalというファーストルック評価ベンチマークについて述べる。 GPT-4oの性能は,生成品質,(2)編集能力,(3)世界知識インフォームド合成の3つの重要な側面にまたがっている。
  論文  参考訳（メタデータ） (2025-04-03T17:23:16Z)
• Lumina-mGPT: Illuminate Flexible Photorealistic Text-to-Image Generation with Multimodal Generative Pretraining [49.04935506942202]
  ルミナ-mGPT (Lumina-mGPT) は、様々な視覚と言語を扱える多モード自動回帰モデルのファミリーである。 マルチモーダル生成PreTraining (mGPT) を初期化することにより、デコーダのみの自己回帰(AR)モデルが、現代の拡散モデルに匹敵する画像生成性能を実現できることを示す。
  論文  参考訳（メタデータ） (2024-08-05T17:46:53Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• A Comprehensive Evaluation of GPT-4V on Knowledge-Intensive Visual Question Answering [53.70661720114377]
  マルチモーダル・大型モデル(MLM)は視覚的理解の分野を著しく進歩させ、視覚的質問応答(VQA)の領域で顕著な能力を提供している しかし、真の課題は知識集約型VQAタスクの領域にある。 1) モデルが視覚的手がかりを理解し、一般的な知識にどのように結びつくかを評価するコモンセンス知識、2) 画像から特定の知識を推論し、提示する際のモデルのスキルをテストする微粒な世界知識。
  論文  参考訳（メタデータ） (2023-11-13T18:22:32Z)
• GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks [70.98062518872999]
  我々は,GPT-4Vの性能評価,基本画像からテキストへの合成,高レベル画像から画像への変換,複数画像からテキストへのアライメントといったタスクに対処する能力を検証する。 特に、GPT-4Vは、様々なタスクや評価方法にまたがって人間と有望な合意を示し、マルチモーダルLCMを評価対象として持つ可能性を示している。
  論文  参考訳（メタデータ） (2023-11-02T16:11:09Z)
• The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
  我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。 GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。 GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
  論文  参考訳（メタデータ） (2023-09-29T17:34:51Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)
• Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
  画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。 生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
  論文  参考訳（メタデータ） (2020-07-20T18:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。