論文の概要: EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing

• arxiv url: http://arxiv.org/abs/2509.13399v2
• Date: Thu, 16 Oct 2025 01:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 16:37:10.489566
• Title: EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing
• Title（参考訳）: EdiVal-Agent:マルチスレッド編集の自動微粒化評価のためのオブジェクト指向フレームワーク
• Authors: Tianyu Chen, Yasi Zhang, Zhi Zhang, Peiyu Yu, Shu Wang, Zhendong Wang, Kevin Lin, Xiaofei Wang, Zhengyuan Yang, Linjie Li, Chung-Ching Lin, Jianwen Xie, Oscar Leong, Lijuan Wang, Ying Nian Wu, Mingyuan Zhou,
• Abstract要約: EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。 標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。 EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
• 参考スコア（独自算出の注目度）: 170.71134330650796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-based image editing has advanced rapidly, yet reliable and interpretable evaluation remains a bottleneck. Current protocols either (i) depend on paired reference images-resulting in limited coverage and inheriting biases from prior generative models-or (ii) rely solely on zero-shot vision-language models (VLMs), whose prompt-based assessments of instruction following, content consistency, and visual quality are often imprecise. To address this, we introduce EdiVal-Agent, an automated and fine-grained evaluation framework grounded in an object-centric perspective, designed to assess not only standard single-turn but also multi-turn instruction-based editing with precision. Given an input image, EdiVal-Agent first decomposes it into semantically meaningful objects, then synthesizes diverse, context-aware editing instructions while dynamically updating object pools across turns. These two stages enable two novel object-centric metrics tailored for multi-turn evaluation and one global metric of visual quality: (1) EdiVal-IF, which measures instruction following by combining open-vocabulary object detectors for symbolic checks with VLMs for semantic verification on detector-guided crops; (2) EdiVal-CC, which evaluates content consistency by calculating semantic similarity of unchanged objects and background using the evolving object pools; and (3) EdiVal-VQ, which quantifies changes in overall visual quality with human preference models. Instantiating this pipeline, we build EdiVal-Bench, a multi-turn editing benchmark covering 9 instruction types and 13 state-of-the-art editing models spanning in-context, flow-matching, and diffusion paradigms. We demonstrate that EdiVal-Agent can be used to identify existing failure modes, thereby informing the development of the next generation of editing models.
• Abstract（参考訳）: インストラクションベースの画像編集は急速に進歩しているが、信頼性が高く、解釈可能な評価はボトルネックのままである。 現在のプロトコルも。 (i)参照画像のペア化-範囲が限定され、以前の生成モデルからバイアスが受け継がれていること- (II) ゼロショット視覚言語モデル(VLM)のみに依存しており、命令従順、コンテンツ整合性、視覚的品質の即時評価は不正確であることが多い。 そこで我々は,標準のシングルターンだけでなく,複数ターンの命令ベース編集を精度良く評価するための,オブジェクト中心の視点に基づく,自動化されたきめ細かな評価フレームワークであるEdiVal-Agentを紹介する。 入力画像が与えられた後、EdiVal-Agentはまず意味のあるオブジェクトに分解し、その後、ターンにまたがるオブジェクトプールを動的に更新しながら、多様なコンテキスト対応の編集命令を合成する。 これらの2つの段階は、多ターン評価に適した2つの新しいオブジェクト中心メトリクスと、視覚的品質のグローバルな指標である。(1) 開語彙オブジェクト検出器とVLMのシンボルチェックを組み合わせて指示を計測するEdiVal-IF、(2) 進化したオブジェクトプールを用いて、不規則オブジェクトと背景のセマンティックな類似性を計算してコンテンツ一貫性を評価するEdiVal-CC、(3) 人間の嗜好モデルによる全体的な視覚的品質の変化を定量化するEdiVal-VQ。 EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端の編集モデルをカバーするマルチターン編集ベンチマークである。 本研究では,EdiVal-Agentが既存の障害モードを識別し,次世代の編集モデルを開発することを実証する。

関連論文リスト

• IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Rendering [7.247417417159471]
  視覚言語モデル(VLM)は記述的タスクに優れるが、視覚的な観察からシーンを真に理解しているかどうかは不明だ。 IR3D-Benchは、受動的認識よりも能動的生成による理解を実証するために、VLMに挑戦するベンチマークである。
  論文  参考訳（メタデータ） (2025-06-29T17:02:57Z)
• BYO-Eval: Build Your Own Dataset for Fine-Grained Visual Assessment of Multimodal Language Models [2.526146573337397]
  眼科診断に触発された新しい評価手法を提案する。 合成画像のプロシージャ生成を用いて視覚特性の制御を行う。 この診断は、系統的なストレステストときめ細かい故障解析を可能にする。
  論文  参考訳（メタデータ） (2025-06-05T12:43:10Z)
• What Changed? Detecting and Evaluating Instruction-Guided Image Edits with Multimodal Large Language Models [88.398085358514]
  DICEは、原画像と編集画像の局所的な差異を検出するために設計されたモデルである。 自己監督、塗布ネットワークからの蒸留、全監督を利用する戦略を用いて訓練されている。 DICEは一貫性のある編集を効果的に識別し、異なる編集モデルによって生成された画像を人間の判断と強く相関して効果的に評価する。
  論文  参考訳（メタデータ） (2025-05-26T18:00:10Z)
• Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning [56.31096024472269]
  我々はDeCapBenchと、詳細なキャプションタスク用に特別に設計された新しいメトリックであるDCScoreを紹介する。 DCScoreは、反応を最小の自己充足単位に分解することで、幻覚ときめ細かい包括性を評価する。 DeCapBenchは、視覚言語モデルの既存のベンチマークを上回り、記述タスクにおけるVLMアリーナの結果と高い相関を示す。
  論文  参考訳（メタデータ） (2025-03-10T22:53:56Z)
• HMGIE: Hierarchical and Multi-Grained Inconsistency Evaluation for Vision-Language Data Cleansing [54.970275599061594]
  我々は階層的・多階層的不整合評価(HMGIE)と呼ばれる適応的評価フレームワークを設計する。 HMGIEは、様々な画像キャプチャー対の精度と完全性の両方をカバーする多粒度評価を提供する。 提案手法の有効性と柔軟性を検証するため,様々なタイプの画像キャプチャー・データセットであるMVTIDを構築した。
  論文  参考訳（メタデータ） (2024-12-07T15:47:49Z)
• Analyzing Local Representations of Self-supervised Vision Transformers [34.56680159632432]
  各種自己監督型視覚変換器(ViT)の比較分析を行った。 大規模言語モデルに触発されて、微調整をほとんど行わずに様々なコンピュータビジョンタスクを実行するViTの能力について検討する。
  論文  参考訳（メタデータ） (2023-12-31T11:38:50Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• End-to-End Object Detection with Transformers [88.06357745922716]
  本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。 我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。 この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
  論文  参考訳（メタデータ） (2020-05-26T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。