論文の概要: MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs
- arxiv url: http://arxiv.org/abs/2609.23336v1
- Date: Sun, 20 Sep 2026 03:48:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.771959
- Title: MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs
- Title(参考訳): MinCU: 画像ペアのグラウンドド・ミニマル・チェンジ理解のための細粒度ベンチマーク
- Abstract要約: マルチモーダル大言語モデル(MLLM)において、身近な画像間のきめ細かい相違の局所化と記述は、重要で未探索の能力である。
各サンプルは、対象カテゴリ、属性、カウント、空間的位置の1つの原子的変化によって異なる画像対から構成される。
- 参考スコア(独自算出の注目度): 75.68851107229308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Localizing and describing fine-grained differences between near-identical images is a critical yet underexplored capability for multimodal large language models (MLLMs). Existing benchmarks largely assess semantic comparison or single-image grounding in isolation, without jointly requiring faithful description and physical localization. To bridge this gap, we introduce MinCU, a benchmark for grounded minimal-change understanding, where each sample consists of an image pair differing by a single atomic variation in object category, attribute, count, or spatial position, and models are evaluated on their ability to describe the change, localize the changed regions, and identify the changed entity. We further propose Semantic-Guided Implicit Spatial Anchors (SG-ISA), a structured autoregressive method that decomposes prediction into a Think-Locate-Describe sequence. SG-ISA first predicts a semantic cue for the changed concept, then uses discrete spatial anchors as an implicit localization scaffold, and finally generates the change description together with the grounding box. Experiments reveal that even the strongest closed-source MLLMs and recent R1-style reasoning models struggle on MinCU, with most failing to jointly produce accurate descriptions and grounding boxes. Compared to the previous chain-of-thought method, fine-tuning with SG-ISA yields substantial joint improvements in grounding accuracy and description quality while reducing reasoning-token overhead by approximately 26%. These results suggest that an implicit intermediate spatial interface can be more effective than relying solely on model scale for grounded dual-image understanding.
- Abstract(参考訳): 多モード大言語モデル(MLLM)において、身近な画像間のきめ細かい相違の局所化と記述は、重要で未探索の能力である。
既存のベンチマークでは、厳密な記述と物理的ローカライゼーションを共同で必要とせず、セマンティックな比較や単一イメージの接地を独立に評価している。
このギャップを埋めるために,各サンプルは対象カテゴリ,属性,カウント,空間位置の1つの原子的変化によって異なる画像対で構成され,その変化を記述し,変化領域をローカライズし,変化した実体を識別するモデルとしてMinCUを導入する。
さらに、予測をThink-Locate-Describeシーケンスに分解する構造化自己回帰手法であるSemantic-Guided Implicit Space Anchors (SG-ISA)を提案する。
SG-ISAはまず、変更された概念のセマンティックキューを予測し、その後、個別の空間アンカーを暗黙の局所化の足場として使用し、最後にグラウンドボックスとともに変更記述を生成する。
実験の結果、最強のクローズドソースMLLMや最近のR1スタイルの推論モデルでさえMinCUで苦戦し、ほとんどは正確な記述とグラウンドボックスを共同で生成しなかったことが判明した。
従来のチェーン・オブ・シント法と比較して, SG-ISAによる微調整では, 基礎精度と記述品質が大幅に向上し, 推論のオーバーヘッドを約26%削減した。
これらの結果から, 暗黙的中間空間インタフェースは, モデルスケールにのみ依存するよりも, より効果的であることが示唆された。
関連論文リスト
- SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation [0.0]
SAFeは、凍結したDINOv3特徴に対してクラス条件正規化推定を生成する軽量な正規化フローを訓練する。
本稿では,位置当たりの確率を空間的に整合したセグメントに接続するSAM3に基づく手法に依存しない後処理手順を提案する。
SAFe は PANIC,OoDIS,SMIYC ObstacleTrack に新たな技術状況を設定し,ISSU ベンチマークでは高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-09-21T07:18:23Z) - VPRef: A Cross-Domain Benchmark for Referring Remote Sensing Image Segmentation [17.658559673931965]
本稿では,46,972の言語画像アノテーションを付加した最初のクロスドメインRRSISベンチマークを確立する。
我々は,ローランド適応 (LoRA) を用いて,Segment Anything Model (SAM3) に固定されたパラメータ効率の良いドメイン適応ベースラインを開発する。
本フレームワークは,擬似ラベル駆動型自己学習による視覚分布の相違に対処し,ランダムな多粒性テキストプロンプトミキシングによるテキスト論理のドリフトに対処する。
論文 参考訳(メタデータ) (2026-09-15T01:18:06Z) - Now We Know? A Systematic Comparison of TerraMind and THOR [3.854501808287241]
本研究は、欧州宇宙機関(ESA)の$-labで開発された2つのGFMと、対照的な設計哲学を比較した。
アーキテクチャ設計の選択 – 特にパッチサイズとデコーダタイプ – は,モデルアイデンティティ自体よりもパフォーマンスのばらつきを説明できます。
論文 参考訳(メタデータ) (2026-07-20T20:55:06Z) - HiSem: Hierarchical Semantic Disentangling for Remote Sensing Image Change Captioning [30.51174005122181]
リモートセンシング画像変化キャプション(RSICC)は、両時間画像間の真の変化の高レベルなセマンティック理解を実現することを目的としている。
既存の手法は、共有モデリングの前提によって根本的に制限されている。
本稿では,異なる粒度のセマンティック表現を明示的に切り離す階層型セマンティックディスタングルネットワーク(HiSem)を提案する。
論文 参考訳(メタデータ) (2026-05-14T16:23:16Z) - Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳(メタデータ) (2024-03-01T15:14:47Z) - Adaptive Spot-Guided Transformer for Consistent Local Feature Matching [64.30749838423922]
局所的特徴マッチングのための適応スポットガイド変換器(ASTR)を提案する。
ASTRは、統一された粗いアーキテクチャにおける局所的な一貫性とスケールのバリエーションをモデル化する。
論文 参考訳(メタデータ) (2023-03-29T12:28:01Z) - Boosting Few-shot Fine-grained Recognition with Background Suppression
and Foreground Alignment [53.401889855278704]
FS-FGR (Few-shot Fine-fine Recognition) は、限られたサンプルの助けを借りて、新しいきめ細かなカテゴリを認識することを目的としている。
本研究では,背景アクティベーション抑制 (BAS) モジュール,フォアグラウンドオブジェクトアライメント (FOA) モジュール,および局所的局所的(L2L) 類似度測定器からなる2段階の背景アライメントとフォアグラウンドアライメントフレームワークを提案する。
複数のベンチマークで行った実験により,提案手法は既存の最先端技術よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2022-10-04T07:54:40Z) - HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。
本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。
4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-30T14:27:50Z) - Improving Few-shot Learning by Spatially-aware Matching and
CrossTransformer [116.46533207849619]
数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。
本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
論文 参考訳(メタデータ) (2020-01-06T14:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。