論文の概要: SolveEdit: Benchmarking Visual Problem Solving in Generative Models
- arxiv url: http://arxiv.org/abs/2609.35504v1
- Date: Mon, 28 Sep 2026 16:05:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 21:18:25.183774
- Title: SolveEdit: Benchmarking Visual Problem Solving in Generative Models
- Title(参考訳): SolveEdit: 生成モデルにおける視覚的問題解決のベンチマーク
- Abstract要約: 本稿では,シーン変換による視覚的問題解決のためのベンチマークであるSolveEpITを紹介する。
画像とゴールが与えられた場合、モデルはリクエスト、シーン、あるいは視覚的に表現されたルールから有効な変換を推論し、無関係なコンテンツを保持しながら実行しなければなりません。
生成前の遷移をインスタンス化する2段階のビジュアルプランナであるSolveEdiT-PLANについても紹介する。
- 参考スコア(独自算出の注目度): 25.893936808694306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine intelligence is often evaluated through abstract reasoning problems, yet many real-world problems are visual, such as arranging objects, repairing layouts, or tracing routes. Solving these problems requires understanding a scene, inferring what must change to achieve a goal, and realizing that change without disturbing unrelated content. However, existing benchmarks mainly evaluate perception, generation, or explicitly specified transformations, leaving goal-driven visual problem solving underexplored. To bridge this gap, we introduce SolveEpIT, a benchmark for visual problem solving through scene transformation. Given an image and a goal, a model must infer a valid transformation from the request, the scene, or a visually expressed rule, then execute it while preserving unrelated content. SoLvEEDrr contains 2,728 cases. Atomic transition contracts specify required and protected conditions, enabling SoLvEScoRE to measure completion and unintended changes without a single reference output. The strongest evaluated model achieves only57.0% SolvEScore. We further introduce SolveEdiT-PLAN, a two-stage visual planner that instantiates the transition before generation. Under matched single-generation evaluation, it improves SoLvEScoRE by 9.1 points on average across three tested generators, including a gain from 57.0% to 71.6% for GPT-Image-2, without modifying the editor.
- Abstract(参考訳): マシンインテリジェンスはしばしば抽象的な推論問題を通じて評価されるが、オブジェクトのアレンジ、レイアウトの修復、ルートのトレースなど、現実の多くの問題は視覚的である。
これらの問題を解決するためには、シーンを理解し、目標を達成するために何を変えなければならないのかを推測し、無関係なコンテンツを邪魔することなくその変化を実現する必要がある。
しかし、既存のベンチマークは主に認識、生成、明示的な変換を評価し、目標駆動の視覚的問題解決を過小評価している。
このギャップを埋めるために、シーン変換による視覚的問題解決のためのベンチマークであるSolveEpITを紹介する。
画像とゴールが与えられた場合、モデルはリクエスト、シーン、あるいは視覚的に表現されたルールから有効な変換を推論し、無関係なコンテンツを保持しながら実行しなければなりません。
SoLvEEDrrには2,728のケースがある。
アトミックトランジション契約は必要条件と保護条件を規定しており、単一の参照出力なしでSoLvEScoREが完了と意図しない変更を計測できる。
最も評価の高いモデルはSolvEScoreの57.0%である。
生成前の遷移をインスタンス化する2段階のビジュアルプランナであるSolveEdiT-PLANについても紹介する。
一致した単世代評価の下では、エディタを変更することなく、GPT-Image-2では57.0%から71.6%に向上するなど、3つのテストジェネレータで平均9.1ポイントのSoLvEScoREを改善する。
関連論文リスト
- Learning to Look Again: Loss-Gap Supervision for Free-form Crop Routing in Vision-Language Models [9.530053392873178]
視覚言語モデル(VLM)は、具体的な理由から多くの詳細中心の質問に失敗する。
より視覚的なトークンをクエリ毎に割り当てることによって、OCRやドキュメントケースが改善されるが、非差別的に費やされ、グローバルなコンテキストに依存するタスクを邪魔する可能性がある。
本稿では,視覚的再読解学習のためのフレームワークであるGapSightを提案する。
論文 参考訳(メタデータ) (2026-08-22T04:10:28Z) - VGI-Bench: Probing Visual Intelligence in Video Generation Models [69.37282368476755]
VGIベンチは、映像生成モデルの視覚的推論能力のきめ細かい評価である。
評価の結果,現在の生成システムは視覚的根拠に基づく推論タスクのサブセットを解くことができるが,信頼性は保たないことがわかった。
VGI-benchは次世代のビデオ生成モデルの開発を刺激することを期待している。
論文 参考訳(メタデータ) (2026-08-20T02:56:56Z) - Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳(メタデータ) (2026-08-11T18:48:40Z) - ComplexityWorld: Benchmarking Vision-Language Models on Verifiable Visual Decision Making [30.869819258358405]
視覚言語モデル(VLM)は、視覚知覚を急速に進歩させ、画像に依存する現実的なタスクをますますサポートしている。
39のドメインにインスパイアされた視覚世界と29のカテゴリーにわたる390のタスクのベンチマークであるCompleXITYWORLDを紹介する。
論文 参考訳(メタデータ) (2026-08-05T10:05:41Z) - ETCHR: Editing To Clarify and Harness Reasoning [70.02956047187827]
ETCHR (Editing To Clarify and Harness Reasoning) は質問条件付き推論対応画像エディタである。
2つのギャップをターゲットとした2段階のレシピでトレーニングされている: 教師付き微調整によるイミテーションの推論、VLM由来の報酬による修正精度と下流の推論精度の推論。
エディタは分離されているため、ETCHRは異なるオープンソースおよびクローズドソースのMLLMをトレーニングなしでプラグインする。
論文 参考訳(メタデータ) (2026-05-22T17:58:28Z) - EPIC: Efficient Predicate-Guided Inference-Time Control for Compositional Text-to-Image Generation [35.78825987562946]
EPIC(Efficient Predicate-Guided Inference-Time Control)は、T2I生成のためのトレーニング不要な推論時間改善フレームワークである。
元のプロンプトを一度オブジェクト変数と型付き述語で固定されたビジュアルプログラムに解析し、オブジェクトの存在、カウント、属性、リレーションといったチェック可能な条件をカバーする。
GenEval2では、EPICはプロンプトレベルの精度を34.16%から71.46%に改善している。
論文 参考訳(メタデータ) (2026-05-12T08:08:09Z) - EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。
標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。
EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文 参考訳(メタデータ) (2025-09-16T17:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。