論文の概要: SSMNBench: Diagnosing Image-based Cross-View Human-Object Understanding via Single-View Sufficiency and Multi-View Necessity
- arxiv url: http://arxiv.org/abs/2606.25634v1
- Date: Wed, 24 Jun 2026 09:38:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.299084
- Title: SSMNBench: Diagnosing Image-based Cross-View Human-Object Understanding via Single-View Sufficiency and Multi-View Necessity
- Title（参考訳）: SSMNBench: シングルビューの十分性とマルチビューの必要性による画像ベースのクロスビューヒューマンオブジェクト理解の診断
- Abstract要約: クロスビュー・ヒューマン・オブジェクト理解のための診断ベンチマークであるSSMNBenchを紹介する。
17の最先端MLLMを体系的に摂動することで、限界が明らかになる。
我々の評価では、現代のMLLMは、真のクロスビュー合成よりも、複数の単一画像のセマンティック平均化とビュー嗜好に依存している。
- 参考スコア（独自算出の注目度）: 18.251991269927714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) have shown remarkable progress in single-image perception, yet their ability to reason about complex cross-view human-centric scenes remains largely unverified. Current multi-view benchmarks evaluate models using a fixed "bag of frames" and thus conflate a model's robustness to visual distraction with its genuine ability to fuse fragmented cross-view evidence. To address this issue, we introduce SSMNBench, a diagnostic benchmark comprising 3,300 curated QA pairs for cross-view human and human-object understanding. SSMNBench uniquely categorizes tasks into Single-View Sufficiency (SVS) and Multi-View Necessity (MVN). By systematically perturbing view availability across 17 state-of-the-art MLLMs, critical limitations are revealed: models suffer from severe "distraction degradation" when presented with redundant views (SVS), and fail to integrate fragmented geometric evidence across cameras (MVN). Our evaluations demonstrate that modern MLLMs rely on multiple single-image semantic averaging and view preference rather than genuine cross-view synthesis. By exposing these fundamental vulnerabilities, SSMNBench provides a rigorous diagnostic framework to drive the advancement of future cross-view-aware multimodal architectures. The code is available at: $ \href{https://github.com/gtc-gh/SSMNBench}{\text{SSMNBench}} $
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、シングルイメージの知覚において顕著な進歩を見せているが、複雑なクロスビューの人間中心のシーンを推論する能力はほとんど検証されていない。
現在のマルチビューベンチマークでは、固定された「フレームの袋」を使用してモデルを評価し、断片化されたクロスビューエビデンスを融合する真の能力で、モデルの頑健さと視覚的気晴らしを区別する。
SSMNBenchは,3,300個のキュレートされたQAペアからなる診断ベンチマークである。
SSMNBenchはタスクをSVS(Single-View Sufficiency)とMVN(Multi-View Necessity)に分類する。
モデルが冗長なビュー(SVS)で提示された場合、深刻な「劣化」に悩まされ、カメラ(MVN)間で断片化された幾何学的証拠を統合することができない。
我々の評価では、現代のMLLMは、真のクロスビュー合成よりも、複数の単一画像のセマンティック平均化とビュー嗜好に依存している。
これらの基本的な脆弱性を明らかにすることで、SSMNBenchは、将来のクロスビュー対応マルチモーダルアーキテクチャの進歩を促進するための厳密な診断フレームワークを提供する。
$ \href{https://github.com/gtc-gh/SSMNBench}{\text{SSMNBench}} $
関連論文リスト
- MultiView-Bench: A Diagnostic Benchmark for World-Centric Multi-View Integration in VLMs [40.317798580235]
VLMの最近のベンチマークは、単一の視点または限られた視点の知覚を主に評価し、視点をまたいだ観察を一貫性のある世界中心の(偏心的な)3Dメンタルモデルに統合するコア認知能力を未検証のまま残している。
我々は,総合的な3Dシーン理解のためのマルチビュー統合を評価するための診断ベンチマークであるMultiView-Benchを紹介する。
情報的視点を積極的に選択し、知覚し、多視点エビデンスを融合するマルチエージェントフレームワークであるViewNavigatorを提案する。
論文 参考訳（メタデータ） (2026-07-09T22:22:42Z) - DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues [54.31138496553705]
DiCoBenchは、きめ細かい知覚のための包括的でマルチイメージの高解像度のベンチマークである。
評価の結果,人的精度 (98.3%) と比較して顕著な性能差がみられた。
DiCoBenchは、自律的で高解像度のマルチイメージ知覚における将来の研究を促進するための、挑戦的なテストベッドとして機能すると考えています。
論文 参考訳（メタデータ） (2026-06-25T05:02:38Z) - CrossView Suite: Harnessing Cross-view Spatial Intelligence of MLLMs with Dataset, Model and Benchmark [77.29150285469736]
空間知能は、単一視点の知覚と理性を超えるためにマルチモーダルな大言語モデル(MLLM)を必要とする。
CrossView Suiteは、CrossViewSet、CrossViewBench、CrossViewerの3つの協調コンポーネントで開発しています。
提案手法は, 適応型空間領域トークンーザを備え, 微細なオブジェクト表現をキャプチャし, マルチビューオブジェクトを明示的にアライメントする。
論文 参考訳（メタデータ） (2026-05-18T16:31:31Z) - MICON-Bench: Benchmarking and Enhancing Multi-Image Context Image Generation in Unified Multimodal Models [89.89575486159795]
マルチイメージコンテキスト生成のためのベンチマークである textbfMICON-Bench を導入する。
本稿では,意味的および視覚的整合性の自動検証のためのMLLM駆動型評価-Checkpointフレームワークを提案する。
また、推論中に注意を動的に調整し、コヒーレンスを高め、幻覚を減らす訓練不要なプラグアンドプレイ機構であるtextbfDynamic Attention Rebalancing (DAR) を提案する。
論文 参考訳（メタデータ） (2026-02-23T04:32:52Z) - AMVICC: A Novel Benchmark for Cross-Modal Failure Mode Profiling for VLMs and IGMs [2.357397994148727]
マルチモーダル大言語モデル (MLLM) と画像生成モデル (IGM) について検討した。
我々は、画像からテキストまでのタスクとテキストから画像までのタスクの障害モードを比較するための新しいベンチマークを作成しました。
この結果から,障害モードはモデルとモダリティの間で共有されることが多いが,特定の障害はモデル固有かつモダリティ固有であることがわかった。
論文 参考訳（メタデータ） (2026-01-20T00:06:58Z) - More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。
LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
論文 参考訳（メタデータ） (2026-01-12T18:45:13Z) - PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。
約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。
本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
論文 参考訳（メタデータ） (2025-12-22T12:49:12Z) - X-ReID: Multi-granularity Information Interaction for Video-Based Visible-Infrared Person Re-Identification [79.37768038337971]
本稿では,VVI-ReIDのためのX-ReIDという新しいクロスモーダル特徴学習フレームワークを提案する。
具体的には、まずクロスモダリティプロトタイプコラボレーション(CPC)を提案する。
次に, 隣接フレームからの短期的相互作用, 長期的クロスフレーム情報融合, クロスモダリティ特徴アライメントを組み込んだMII(Multi-granularity Information Interaction)を設計する。
論文 参考訳（メタデータ） (2025-11-22T07:57:15Z) - SpatialViz-Bench: An MLLM Benchmark for Spatial Visualization [44.427830927596204]
SpaceViz-Benchは4つのサブ能力にまたがる12のタスクを持つ空間視覚化のための総合的なベンチマークである。
33種類の最先端MLLMを評価した結果,多彩な性能の変動がみられ,反直感的な結果が得られた。
論文 参考訳（メタデータ） (2025-07-10T10:27:20Z) - VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。
本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。
我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
論文 参考訳（メタデータ） (2025-02-25T23:36:19Z) - M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment [65.3860007085689]
M3-AGIQAは、AI生成画像のより人間らしく総合的な評価を可能にする包括的なフレームワークである。
モデル出力を人間の判断とより密接に整合させることで、M3-AGIQAは堅牢で解釈可能な品質スコアを提供する。
論文 参考訳（メタデータ） (2025-02-21T03:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。