論文の概要: PaintBench: Deterministic Evaluation of Precise Visual Editing

• arxiv url: http://arxiv.org/abs/2606.00188v1
• Date: Fri, 29 May 2026 16:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.094829
• Title: PaintBench: Deterministic Evaluation of Precise Visual Editing
• Title（参考訳）: PaintBench: 精密なビジュアル編集の決定論的評価
• Abstract要約: PaintBenchは20の基本的なビジュアル編集操作のベンチマークである。 11の画像編集モデル全体では、全体的なパフォーマンスが低く、現在の最高パフォーマンスの業界リーダーは17.1%に過ぎなかった。 詳細なベンチマーク診断では、オブジェクト数、背景の複雑さ、色スキーム、編集領域サイズなどのシーン変動によって生じるパフォーマンス劣化が示されている。
• 参考スコア（独自算出の注目度）: 50.50559031686293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While current multimodal models are proficient at open-ended visual editing, executing precise single-answer edits remains an important obstacle. To probe this challenge, we introduce PaintBench, a dynamically scalable benchmark targeting 20 fundamental precise visual editing operations across four categories: geometric transformation, structural manipulation, color change, and symbolic reasoning. Procedural generation with configurable complexity enables an effectively infinite, contamination-resistant evaluation suite, and deterministic pixel-level evaluation eliminates reliance on bias-prone judge models. Across 11 image editing models, we find overall low performance, with the current highest-performing industry leader scoring only 17.1% (mIoU). Task decomposition reveals especially challenging operation types (geometric transformation, most structural manipulation, formula-based color change) and model-specific specializations. Fine-grained benchmark diagnostics further show performance degradations induced by scene variations in object count, background complexity, color scheme, and edit-region size. To test generalization of PaintBench scores to applied task performance, we create a procedural, deterministic evaluation for data visualization editing (TinyGrafixBench) and find strong linear correlation with PaintBench scores ($R^2 = 0.91$, $p < 0.001$). Altogether, PaintBench provides a rigorous foundation for measuring and driving progress in precise multimodal visual editing.
• Abstract（参考訳）: 現在のマルチモーダルモデルは、オープンエンドのビジュアル編集に長けているが、正確な単一回答編集を実行することは依然として重要な障害である。 この課題を解明するために,幾何変換,構造操作,色変化,記号的推論という4つのカテゴリにまたがる20の基本的な視覚的編集操作を対象とする,動的にスケーラブルなベンチマークであるPaintBenchを紹介した。 構成可能な複雑さを持つ手続き生成は、事実上無限で汚染に抵抗する評価スイートを可能にし、決定論的画素レベル評価は、バイアスを伴わない判断モデルへの依存をなくす。 11の画像編集モデル全体では、全体的なパフォーマンスが低く、現在の最高パフォーマンスの業界リーダーは17.1%(mIoU)である。 タスク分解は特に困難な操作タイプ(幾何学的変換、ほとんどの構造的操作、公式ベースの色変化)とモデル固有の特殊化を示す。 詳細なベンチマーク診断では、オブジェクト数、背景の複雑さ、色スキーム、編集領域サイズなどのシーン変動によって引き起こされるパフォーマンス劣化がさらに示されている。 本研究では,PaintBenchスコアのタスク性能に対する一般化をテストするために,データ視覚化編集のための手続き的決定論的評価(TinyGrafixBench)を作成し,PaintBenchスコアと強い線形相関(R^2 = 0.91$, $p < 0.001$)を求める。 さらにPaintBenchは、正確なマルチモーダルビジュアル編集の進捗を計測し、推進するための厳密な基盤を提供する。

関連論文リスト

• FED-Bench: A Cross-Granular Benchmark for Disentangled Evaluation of Facial Expression Editing [29.7144418122336]
  FED-Benchは厳格なテストと正確な評価スイートを備えた総合的なベンチマークである。 我々は18の画像編集モデルをベンチマークし、現在のアプローチが高い忠実度と正確な表現操作を同時に達成するのに苦労していることを明らかにする。 ベンチマークと関連するコードは近く公開される予定です。
  論文  参考訳（メタデータ） (2026-03-31T12:52:17Z)
• GEditBench v2: A Human-Aligned Benchmark for General Image Editing [58.86807672117726]
  GEditBench v2は、23のタスクにまたがる1200の現実世界のユーザクエリを備えた包括的なベンチマークである。 また、視覚的整合性を評価するためのオープンソースのペアワイドアセスメントモデルであるPVC-Judgeを提案する。 PVC-Judgeは、オープンソースモデルの最先端評価性能を達成し、平均してGPT-5.1を超えている。
  論文  参考訳（メタデータ） (2026-03-30T15:08:32Z)
• InEdit-Bench: Benchmarking Intermediate Logical Pathways for Intelligent Image Editing Models [17.680767010203308]
  InEdit-Benchは画像編集における中間経路の推論に特化した最初の評価ベンチマークである。 InEdit-Benchは、状態遷移、動的プロセス、時間的シーケンス、科学的シミュレーションの4つの基本的なタスクカテゴリをカバーする、細心の注意を要するテストケースで構成されている。 InEdit-Benchにおける14の代表的な画像編集モデルの総合的な評価により,この領域の重大な欠点と広範な欠点が明らかとなった。
  論文  参考訳（メタデータ） (2026-03-04T02:24:43Z)
• I2I-Bench: A Comprehensive Benchmark Suite for Image-to-Image Editing Models [78.62380562116135]
  既存の画像編集ベンチマークは、タスクの範囲が限られており、評価範囲が不十分であり、手動のアノテーションに大きく依存している。 画像間編集モデルの総合的なベンチマークである textbfI2I-Bench を提案する。 I2I-Benchを用いて、多数の主流画像編集モデルをベンチマークし、様々な次元にわたる編集モデル間のギャップとトレードオフを調査した。
  論文  参考訳（メタデータ） (2025-12-04T10:44:07Z)
• Charts Are Not Images: On the Challenges of Scientific Chart Editing [66.38730113476677]
  textitFigEditは、3万以上のサンプルからなる科学的フィギュア編集のベンチマークである。 私たちのベンチマークでは、ピクセルレベルの操作の重大な制限が示されています。 textitFigEdit をリリースすることにより,構造対応図形編集の体系的な進歩の実現を目指す。
  論文  参考訳（メタデータ） (2025-11-30T06:13:48Z)
• Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
  RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。 RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。 オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)
• DisPositioNet: Disentangled Pose and Identity in Semantic Image Manipulation [83.51882381294357]
  DisPositioNetは、シーングラフを用いた画像操作のタスクに対して、各オブジェクトのアンタングル表現を学習するモデルである。 我々のフレームワークは、グラフ内の特徴表現と同様に、変分潜在埋め込みの切り離しを可能にする。
  論文  参考訳（メタデータ） (2022-11-10T11:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。