論文の概要: Human-Centric Image Captioning with Subject-Centered Spatial Understanding
- arxiv url: http://arxiv.org/abs/2609.08300v1
- Date: Tue, 08 Sep 2026 06:21:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 16:52:35.018962
- Title: Human-Centric Image Captioning with Subject-Centered Spatial Understanding
- Title（参考訳）: 主観的空間理解による人間中心画像のキャプション
- Abstract要約: 本研究では,主観的空間理解を評価するためのベンチマークSPACEを紹介する。
ギャップを埋めるために,特殊なデータ構築とアライメントパイプラインを提案する。
我々の枠組みは、特に主観的空間推論において、人中心キャプションの品質を著しく向上させる。
- 参考スコア（独自算出の注目度）: 27.382505649043637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While multimodal large language models (MLLMs) achieve remarkable performance on generic image captioning, they frequently suffer from structural hallucinations in human-centric scenarios. Accurately modeling human subjects is foundational for critical downstream applications, such as accurate avatar/video/image generation and fine-grained human action understanding. However, these tasks require highly precise subject-centered spatial grounding, such as distinguishing egocentric left/right laterality and maintaining correct anatomical-object bindings. Although catastrophic for structural integrity, these localized spatial inversions are often overshadowed by overall descriptive metrics in existing benchmarks. To systematically expose and quantify this bottleneck, we introduce SPACE (Subject-centric Poses, Appearance, and Characteristics Evaluation), a benchmark designed to evaluate subject-centered spatial understanding. On SPACE, we reveal that despite strong generic perception, current MLLMs consistently fail to ground descriptions in the subject's intrinsic frame of reference. To bridge this gap, we propose a specialized data construction and alignment pipeline. We first extract structured spatial hints from fine-grained body-part localization to guide a two-stage caption rewriting process, yielding highly spatially-faithful training data. Furthermore, we design a rubric-based reward for Group Relative Policy Optimization (GRPO) that explicitly penalizes structurally critical spatial errors during alignment. Extensive experiments on SPACE demonstrate our framework significantly improves human-centric caption quality, particularly in subject-centered spatial reasoning, achieving performance competitive with strong closed-source models. Our benchmark and code are available at https://github.com/JHang2020/SPACE-Eval.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は一般的な画像キャプションにおいて顕著な性能を発揮するが、人間中心のシナリオでは構造的な幻覚に悩まされることが多い。
正確なモデリングは、正確なアバター/ビデオ/イメージ生成やきめ細かい人間の行動理解など、重要な下流の応用の基礎となる。
しかしながら、これらのタスクは、自我中心の左右のラテラルを区別し、正しい解剖学的対象の結合を維持するなど、非常に正確な主観的な空間的接地を必要とする。
構造的整合性には破滅的だが、これらの局所的な空間反転は、既存のベンチマークの全体的な記述的指標によって隠れていることが多い。
このボトルネックを体系的に公開し、定量化するために、主観的空間的理解を評価するためのベンチマークであるSPACE(Subject-centric Poses, Outearance, and Characteristics Evaluation)を導入する。
SPACEでは、強い総合的認識にもかかわらず、現在のMLLMは、被験者の本質的な参照の枠組みにおいて、常に記述を根拠にしないことが明らかとなった。
このギャップを埋めるために、特殊なデータ構築とアライメントパイプラインを提案する。
まず,2段階の字幕書き起こしプロセスのガイドとして,微粒な部分位置から構造化された空間的ヒントを抽出し,空間的に忠実なトレーニングデータを生成する。
さらに,アライメント中の構造的に重要な空間誤差を明示的に補償するグループ相対政策最適化(GRPO)に対して,ルーリックに基づく報酬を設計する。
SPACEの大規模な実験は,特に主観的空間推論において,人間の中心的なキャプションの品質を著しく向上させ,強力なクローズドソースモデルと競合する性能を実現することを実証している。
私たちのベンチマークとコードはhttps://github.com/JHang2020/SPACE-Eval.orgで公開されています。
関連論文リスト
- SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。
データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
論文 参考訳（メタデータ） (2026-07-02T06:56:29Z) - OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳（メタデータ） (2026-05-26T00:08:06Z) - Learning to Perceive "Where": Spatial Pretext Tasks for Robust Self-Supervised Learning [17.753167530453997]
空間認識型プレテキスト回帰タスクである空間予測を導入し、同じ画像から一対の非絡み合ったローカルビュー間の相対的な位置とスケールを予測する。
連続幾何学空間における部分対部分関係をモデル化することにより、SPは表現がきめ細かい空間依存を捉えることを奨励する。
実験では、画像認識、きめ細かな分類、セマンティックセグメンテーション、深さ推定、および物体認識におけるアウト・オブ・ディストリビューションの大幅な向上が示されている。
論文 参考訳（メタデータ） (2026-05-11T04:15:34Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - From Human Cognition to Neural Activations: Probing the Computational Primitives of Spatial Reasoning in LLMs [2.3268065525165316]
空間知能は 基礎モデルにとって ますます重要な能力となります
空間推論ベンチマークにおける基礎モデルの性能が内部空間表現の構造化や言語モデルへの依存を反映しているかは、まだ不明である。
論文 参考訳（メタデータ） (2026-03-27T11:42:36Z) - RSGround-R1: Rethinking Remote Sensing Visual Grounding through Spatial Reasoning [61.84363374647606]
リモートセンシングビジュアルグラウンドディング(RSVG)は、自然言語記述に基づく大規模空中画像における対象物体のローカライズを目的としている。
これらの記述はしばしば位置的手がかりに大きく依存しており、空間的推論においてMLLM(Multimodal Large Language Models)に固有の課題を提起している。
空間理解の高度化を図るために,textbfRSGround-R1 と呼ばれる推論誘導型位置認識後学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-29T12:35:57Z) - From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。
このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。
評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
論文 参考訳（メタデータ） (2025-12-22T18:58:12Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2025-08-15T06:43:51Z) - Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。
次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
論文 参考訳（メタデータ） (2025-03-25T14:34:06Z) - SPHERE: Unveiling Spatial Blind Spots in Vision-Language Models Through Hierarchical Evaluation [7.659514491338669]
現在の視覚言語モデルは、基本的な空間的手がかりを把握できるが、人間のような理解や現実世界の応用に必要な多次元空間的推論に苦慮している。
我々は,新しい人間注釈付きデータセットをサポートする階層的評価フレームワークであるSPHEREを開発した。
最先端モデルのベンチマーク評価では、特に距離と近接性についての推論において、重大な欠陥が示される。
論文 参考訳（メタデータ） (2024-12-17T09:10:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。