論文の概要: GenOlympiad: Benchmarking Frontier Image Models at Their Capability Boundaries

• arxiv url: http://arxiv.org/abs/2610.26850v1
• Date: Mon, 19 Oct 2026 17:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:51:35.731189
• Title: GenOlympiad: Benchmarking Frontier Image Models at Their Capability Boundaries
• Title（参考訳）: GenOlympiad: 機能境界におけるフロンティアイメージモデルのベンチマーク
• Abstract要約: GenOlympiadは、ストレステストのフロンティアテキスト・ツー・イメージモデルのベンチマークである。 9つの機能軸から最も難しいテキストプロンプトを提供する。 我々は20以上の強いテキスト・ツー・イメージモデルを評価する。
• 参考スコア（独自算出の注目度）: 14.313783467290436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image models have made tremendous progress and can produce high-quality images. However, a question which would be asked in any other discipline is where the frontier models fall short. We introduce GenOlympiad, a benchmark which provides the most challenging text prompts from nine capability axes for stress-testing frontier text-to-image models. The assessed capabilities include generating large quantities, performing deep reasoning, ensuring hard physical consistency, following complex rules and so on. The prompts are designed such that prompt alignment is visually verifiable (e.g., counting) instead of relying on subjectiveness (e.g., style). Based on this, we develop an automated evaluation framework which decomposes the prompt into easy and hard questions, and for most hard questions, draws help lines to ground evidence for accurate grading. We evaluate 20+ strong text-to-image models, including Nano Banana Pro, GPT-Image-2.5, Seedream-5.0 and so on. We report that even the best-performing T2I model (Nano Banana Pro) only achieves a strict score of 23.9 out of 100 and that coding models such as GPT-6 Astra have higher prompt alignment scores (but not as visually pleasing). We also derive insights in model evolution, alignment with Elo scores, and effectiveness of our grounding-based evaluation protocol. Code is available at https://github.com/GenOlympiad/GenOlympiad and the project page is at https://genolympiad.github.io/
• Abstract（参考訳）: テキスト・ツー・イメージモデルは非常に進歩しており、高品質な画像を生成することができる。 しかし、他のどの分野でも疑問視されるのは、フロンティアモデルが不足している点だ。 GenOlympiadは、9つの機能軸から最も困難なテキストプロンプトを提供するベンチマークである。 評価された機能には、大量の生成、深い推論の実行、ハードな物理的一貫性の確保、複雑なルールに従うことなどが含まれる。 プロンプトは、主観性(eg, style)に頼るのではなく、視覚的にアライメントが検証可能であるように設計されている(eg, counting)。 そこで我々は,提案手法を難解な質問に分解する自動評価フレームワークを開発した。 我々はNano Banana Pro, GPT-Image-2.5, Seedream-5.0などの20以上の強力なテキスト・画像モデルを評価する。 我々は,最高性能のT2Iモデル(Nano Banana Pro)でさえ,100点中23.9点の厳密なスコアしか達成せず,GPT-6 Astra などの符号化モデルの方が高いアライメントスコアを有することを報告した。 また、モデル進化、Eloスコアとの整合性、グラウンドディングに基づく評価プロトコルの有効性について考察する。 コードはhttps://github.com/GenOlympiad/GenOlympiadで、プロジェクトページはhttps://genolympiad.github.io/で公開されている。

関連論文リスト

• OneIG-Bench: Omni-dimensional Nuanced Evaluation for Image Generation [23.05106664412349]
  テキスト・ツー・イメージ(T2I)モデルは、テキスト・プロンプトに整合した高品質な画像を生成する上で大きな注目を集めている。 OneIG-Benchは、T2Iモデルを複数の次元で評価するためのベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-06-09T17:50:21Z)
• GenAI-Bench: Evaluating and Improving Compositional Text-to-Visual Generation [103.3465421081531]
  VQAScoreは、VQAモデルが画像がプロンプトを正確に描写しているとみなす可能性を測定するメトリクスである。 VQAScoreによるランク付けは、PickScore、HPSv2、ImageRewardなどの他のスコアリング方法よりも2倍から3倍効果的である。 我々は、同じプロンプトから生成されたランキング画像のスコアを評価するために、4万以上の人間格付けを備えたGenAI-Rankベンチマークを新たにリリースした。
  論文  参考訳（メタデータ） (2024-06-19T18:00:07Z)
• Information Theoretic Text-to-Image Alignment [49.396917351264655]
  相互情報(MI)は、モデルアライメントのガイドに使用される。 本手法は,自己教師型微調整を用いて,プロンプトと画像間のポイントワイド(MI)推定に依存する。 解析の結果,本手法は最先端の手法よりも優れているが,MIを推定するにはT2Iモデル自体の事前学習されたデノナイジングネットワークが必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-31T12:20:02Z)
• Evaluating Text-to-Visual Generation with Image-to-Text Generation [113.07368313330994]
  VQAScore(VQAScore)は、アライメントスコアを生成するビジュアル・クエクション・アンサーリング(VQA)モデルである。 これは、多くの(8)画像テキストアライメントベンチマークで最先端の結果を生成する。 我々は1,600の合成テキストプロンプトを備えたより難しいベンチマークであるGenAI-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-04-01T17:58:06Z)
• Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation [64.64849950642619]
  テキスト・ツー・イメージ・モデルを評価するための形式的意味論にインスパイアされた評価フレームワークを開発する。 Davidsonian Scene Graph (DSG) が依存性グラフにまとめられた原子的およびユニークな質問を生成することを示す。 また,1060個のプロンプトを含むオープンソースの評価ベンチマークDSG-1kを提案する。
  論文  参考訳（メタデータ） (2023-10-27T16:20:10Z)
• How good are deep models in understanding the generated images? [47.64219291655723]
  オブジェクト認識と視覚的質問応答タスクのために、生成画像の2つのセットを収集する。 オブジェクト認識では、10の最先端オブジェクト認識モデルのうち最高のモデルが、約60%と80%のトップ-1とトップ5の精度を達成する。 VQAでは、50の画像で241のバイナリ質問に回答すると77.3%のスコアが与えられる。
  論文  参考訳（メタデータ） (2022-08-23T06:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。