論文の概要: ABACUS: A Benchmark for Image Editing Models to Assess Object Category and Counting Under Scene Conservation

• arxiv url: http://arxiv.org/abs/2610.28316v1
• Date: Tue, 20 Oct 2026 14:53:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.862737
• Title: ABACUS: A Benchmark for Image Editing Models to Assess Object Category and Counting Under Scene Conservation
• Title（参考訳）: ABACUS: 画像編集モデルによるオブジェクトカテゴリの評価と環境保全のためのベンチマーク
• Abstract要約: ABACUSは、数値画像編集のための新しいベンチマーク、評価プロトコル、専用のスコアリング指標である。 検出コンセンサスによって確認された汎視的地上真実に対して、各編集をインスタンスレベルで検証する。 本手法は,先行画像編集者の評価により,かなりの数値的な編集に失敗することを明らかにする。
• 参考スコア（独自算出の注目度）: 2.43420394129881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-based image editing models can now add, remove a specified number of objects or change their category while preserving the scene. Yet these models often fail to produce the correct number, and these failures grow sharply as scenes become more complex and the requested count increases. Current benchmarks largely miss this problem: they score edits with holistic similarity metrics or with vision-language model (VLM) judges that are themselves poor at counting, so numerical errors go unnoticed or are graded incorrectly. As a result, the true numerical ability of today's editing models has never been accurately measured. We address this issue with ABACUS, a new benchmark, evaluation protocol and dedicated scoring metric for numerical image editing. Our protocol is judge-free: no VLM or MLLM scores an edit or counts objects (a VLM only confirms the category of rare ambiguous crops). Instead, it verifies each edit at the instance level against panoptic ground truth confirmed by detector consensus, checking both that the exact requested count was achieved and that the rest of the scene was preserved, across the add, remove and change operations. By evaluating leading image editors, our method reveals substantial numerical editing failures that worsen with increasing scene complexity and object count; failures that prior benchmarks often overlooked or misjudged.
• Abstract（参考訳）: インストラクションベースの画像編集モデルは、シーンを保存しながら、指定された数のオブジェクトの追加、削除、カテゴリの変更が可能になる。 しかし、これらのモデルはしばしば正しい数を生成することができず、シーンが複雑になり、要求された回数が増加するにつれて、これらの失敗は急激に増加する。 現在のベンチマークでは、全体的な類似度の測定値や視覚言語モデル(VLM)の判断値による編集結果がほとんど失われているため、数値エラーは気付かれず、誤ってランク付けされる。 その結果、今日の編集モデルの真の数値能力は正確に測定されることはなかった。 本稿では,新しいベンチマーク,評価プロトコル,数値画像編集のための専用評価基準であるABACUSを用いてこの問題に対処する。 VLM や MLLM は編集やカウントをしない (VLM は希少な不明瞭な作物の分類を確認するのみである)。 代わりに、検出器のコンセンサスによって確認されたパンプトグラウンドの真実に対して、各編集をインスタンスレベルで検証し、正確な要求されたカウントが達成されたことと、残りのシーンが追加、削除、変更操作にわたって保存されたことの両方を確認する。 先行する画像エディターを評価することで、シーンの複雑さやオブジェクト数の増加によって悪化する相当な数値的な編集エラーが明らかになる。

関連論文リスト

• OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
  命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。 本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。 本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-05T16:58:48Z)
• Is This Edit Correct? A Multi-Dimensional Benchmark for Reasoning-Aware Image Editing [45.07920210103563]
  拡散に基づく画像編集は、自然言語命令の下で強い視覚的忠実性を実現している。 既存のシステムの多くは、暗黙の文脈制約を考慮せずに、サーフェス命令のレベルを引き続き運用している。 本稿では、Re-Editという、Reasoning-aware画像編集のためのベンチマークを紹介する。
  論文  参考訳（メタデータ） (2026-04-16T08:05:42Z)
• Evaluating Image Editing with LLMs: A Comprehensive Benchmark and Intermediate-Layer Probing Approach [48.01137214342501]
  テキスト誘導画像編集手法の体系的評価のためのベンチマークであるTIEditを紹介する。 信頼性の高い主観的評価を得るために、20人の専門家が採用され、307,200人の主観的評価が得られる。 さらに,隠蔽表現の中間層探索により編集品質を推定するLCMベースの評価器であるEditProbeを提案する。
  論文  参考訳（メタデータ） (2026-03-20T09:05:10Z)
• DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model [10.609050605838805]
  本稿では,IIEMの小型オブジェクト編集能力を評価するための最初のベンチマークであるDeepLookEditBenchを紹介する。 7つの命令タイプにわたる1889のサンプルからなる挑戦的なテストベッドを構築した。 これらのサンプルでは、ターゲットオブジェクトは画像領域の1%-10%しか占めておらず、部分閉塞や複数オブジェクト編集といった複雑なシナリオをカバーしている。 10個のIIEMの実証的な結果から、小規模オブジェクト編集における大きなパフォーマンスギャップが明らかとなり、この機能を前進させるための特別なベンチマークの必要性が浮かび上がっている。
  論文  参考訳（メタデータ） (2026-02-27T02:59:34Z)
• PRIMEdit: Probability Redistribution for Instance-aware Multi-object Video Editing with Benchmark Dataset [27.706882926164724]
  PRIMEditはゼロショットフレームワークで、インスタンス中心のProbability ReistributionとDisentangled Multi-instance Samplingという2つの主要なモジュールを導入している。 我々は,多種多様なビデオシナリオを特徴とするビデオ編集のための新しいMIVEデータセットを提案し,編集リークを評価するためにCross-Instance Accuracy (CIA) Scoreを紹介した。 PRIMEditは, 信頼性, 正確性, 漏洩防止の両面において, 最近の最先端手法を著しく上回り, 質的, 定量的, ユーザスタディ評価を行った。
  論文  参考訳（メタデータ） (2024-12-17T13:00:04Z)
• OmniEdit: Building Image Editing Generalist Models Through Specialist Supervision [32.33777277141083]
  我々は,7種類の画像編集タスクをシームレスに処理できる全能なエディタであるomnieditを提案する。 omnieditは7つの異なるスペシャリストモデルの監督を利用して、タスクカバレッジを確保することで訓練される。 当社のモデルが野生のどんな画像でも扱えるように、アスペクト比の異なる画像を提供しています。
  論文  参考訳（メタデータ） (2024-11-11T18:21:43Z)
• PixLens: A Novel Framework for Disentangled Evaluation in Diffusion-Based Image Editing with Object Detection + SAM [17.89238060470998]
  拡散に基づく画像編集モデルを評価することは、生成AIの分野において重要な課題である。 我々のベンチマークであるPixLensは、編集品質と遅延表現の絡み合いを総合的に評価する。
  論文  参考訳（メタデータ） (2024-10-08T06:05:15Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。