論文の概要: From Evaluation to Evolution: Benchmarking Image Editing and Evolving Image Models

• arxiv url: http://arxiv.org/abs/2610.41210v1
• Date: Fri, 30 Oct 2026 03:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.608141
• Title: From Evaluation to Evolution: Benchmarking Image Editing and Evolving Image Models
• Title（参考訳）: 評価から進化へ:画像編集と進化のベンチマーク
• Abstract要約: WeGenEditBenchは2,740のアセスメントインスタンスと128のタスクタイプからなり、シングルイメージ、テキスト集約、マルチ参照編集を行う。 WeGenEvoStudioは、モデル条件付き障害診断、検索地上データ構築、教師付き適応、再評価を統合している。 評価された15の構成のうち、GPT-Image-2は総合スコア4.076のシングルイメージ編集を、Seedream-5.0-Proは4.291のテキスト集約編集を導いた。
• 参考スコア（独自算出の注目度）: 19.54927974137363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world image editing requires coordinating multiple visual transformations with content preservation and reference constraints, yet aggregate scores can readily obscure unmet local requirements. Effective evaluation must therefore identify local failures and translate them into priorities for subsequent model improvement. We introduce WeGenEditBench, comprising 2,740 evaluation instances and 148 task types across single-image, text-intensive, and multi-reference editing. Pre-generated checklists shared across models decompose each request into atomic requirements; item-level deductions and visual evidence are established first and then summarized into scores for edit execution, preservation, visual quality, and task-specific correctness. To support the experience-acquisition component of recursive self-improvement (RSI), we develop WeGenEvoStudio, a unified multi-agent harness for RSI-oriented learning that integrates model-conditioned failure diagnosis, retrieval-grounded data construction, supervised adaptation, and re-evaluation. Among 15 evaluated configurations, GPT-Image-2 leads single-image editing with an Overall score of 4.076, while Seedream-5.0-Pro leads text-intensive editing at 4.291. Evolution experiments across four generation and editing benchmarks demonstrate substantial targeted gains: on their report-selected Top-5 single-image targets, FLUX.2 [dev] improves Overall from 1.083 to 3.517, while Qwen-Image-Edit-2511 gains 13.2%. Together, our benchmark and harness provide a foundation for developing more reliable image models through interpretable evaluation and feedback-driven learning.
• Abstract（参考訳）: 実世界の画像編集には、コンテンツ保存と参照制約を伴う複数の視覚変換を調整する必要があるが、集約スコアは容易に局所的な要求を不明瞭にすることができる。 したがって、効果的な評価は、局所的な失敗を特定し、それらをその後のモデル改善のための優先順位に変換する必要がある。 WeGenEditBenchは2,740のアセスメントインスタンスと128のタスクタイプからなり、シングルイメージ、テキスト集約、マルチ参照編集を行う。 モデル間で共有される事前生成されたチェックリストは、各要求をアトミックな要件に分解する; アイテムレベルのデダクションと視覚的エビデンスをまず確立し、次に、実行、保存、視覚的品質、タスク固有の正確さのスコアにまとめる。 再帰的自己改善(RSI)の体験獲得コンポーネントをサポートするため,モデル条件付き故障診断,検索基底データ構築,教師付き適応,再評価を統合した,RSI指向学習のための統合型マルチエージェントハーネスWeGenEvoStudioを開発した。 評価された15の構成のうち、GPT-Image-2は総合スコア4.076のシングルイメージ編集を、Seedream-5.0-Proは4.291のテキスト集約編集を導いた。 レポート選択されたトップ5のシングルイメージターゲットでは、FLUX.2 [dev] が 1.083 から 3.517 に、Qwen-Image-Edit-2511 は 13.2% に向上した。 我々のベンチマークとハーネスは、解釈可能な評価とフィードバック駆動学習を通じて、より信頼性の高い画像モデルを開発する基盤を提供する。

関連論文リスト

• EditRefiner: A Human-Aligned Agentic Framework for Image Editing Refinement [76.76247443244293]
  EditRefinerは、編集後の修正を人間のような認識・推論・行動評価ループとして再構成するエージェントフレームワークである。 歪み、診断精度、人間の知覚アライメントにおいて、最先端の手法を一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-08T09:05:08Z)
• GEditBench v2: A Human-Aligned Benchmark for General Image Editing [58.86807672117726]
  GEditBench v2は、23のタスクにまたがる1200の現実世界のユーザクエリを備えた包括的なベンチマークである。 また、視覚的整合性を評価するためのオープンソースのペアワイドアセスメントモデルであるPVC-Judgeを提案する。 PVC-Judgeは、オープンソースモデルの最先端評価性能を達成し、平均してGPT-5.1を超えている。
  論文  参考訳（メタデータ） (2026-03-30T15:08:32Z)
• Evaluating Image Editing with LLMs: A Comprehensive Benchmark and Intermediate-Layer Probing Approach [48.01137214342501]
  テキスト誘導画像編集手法の体系的評価のためのベンチマークであるTIEditを紹介する。 信頼性の高い主観的評価を得るために、20人の専門家が採用され、307,200人の主観的評価が得られる。 さらに,隠蔽表現の中間層探索により編集品質を推定するLCMベースの評価器であるEditProbeを提案する。
  論文  参考訳（メタデータ） (2026-03-20T09:05:10Z)
• UniREditBench: A Unified Reasoning-based Image Editing Benchmark [52.54256348710893]
  この研究は、推論に基づく画像編集評価のための統一ベンチマークUniREditBenchを提案する。 精巧にキュレートされた2,700個のサンプルからなり、8つの一次次元と18のサブ次元にわたる実世界シナリオとゲーム世界のシナリオをカバーしている。 このデータセットにBagelを微調整し、UniREdit-Bagelを開発した。
  論文  参考訳（メタデータ） (2025-11-03T07:24:57Z)
• GIE-Bench: Towards Grounded Evaluation for Text-Guided Image Editing [60.66800567924348]
  テキスト誘導画像編集モデルを評価するための新しいベンチマークを導入する。 このベンチマークには、20種類のコンテンツカテゴリにわたる高品質な編集例が1000以上含まれている。 我々は、GPT-Image-1をいくつかの最先端編集モデルと比較する大規模な研究を行っている。
  論文  参考訳（メタデータ） (2025-05-16T17:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。