論文の概要: PSGAgent: Enhancing MLLMs' Dynamic Visual Perception for Panoptic Scene Graph Generation via Agentic Reasoning

• arxiv url: http://arxiv.org/abs/2611.07408v1
• Date: Thu, 05 Nov 2026 04:02:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.54165
• Title: PSGAgent: Enhancing MLLMs' Dynamic Visual Perception for Panoptic Scene Graph Generation via Agentic Reasoning
• Title（参考訳）: PSGAgent: エージェント推論によるパノプティカルシーングラフ生成のためのMLLMの動的視覚知覚の強化
• Abstract要約: パノプティカル・シーングラフ生成は、オブジェクト間の複雑な関係を包括的かつきめ細かな推論を必要とする。 現在PSGに適用されているMultimodal Large Language Models (MLLM) は認識ボトルネックに悩まされている。 本稿では,PSGの視覚的知覚を高めるエージェントフレームワークであるPSGAgentを提案する。
• 参考スコア（独自算出の注目度）: 12.79780936893278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Panoptic Scene Graph generation (PSG) requires holistic yet fine-grained reasoning over complex relations among objects. However, current Multimodal Large Language Models (MLLMs) applied to PSG suffer from a perception bottleneck: they function as static observers limited by fixed-resolution views. As a result, models often overlook critical relations involving small or peripheral objects and struggle to differentiate ambiguous predicates in complex scenes. To address these limitations, we propose PSGAgent, an agentic framework that enhances visual perception for PSG through a think-act-observe loop. PSGAgent allows MLLMs to dynamically refine their visual perception using two tools: a Region Zoom-In Tool for local exploration of small or boundary relations and a Visual Highlight Tool for relation-focused segmentation that filters out irrelevant contextual noise. To optimize decision-making, we construct a two-stage training pipeline. First, we create a high-quality, error-aware Multimodal Chain-of-Thought (M-CoT) dataset that provides robust supervision for cold-start learning. Then, we design a novel hierarchical reward mechanism integrated with Group Sequence Policy Optimization (GSPO) to enable strategic and adaptive tool usage. Extensive experiments on the PSG benchmark show that PSGAgent achieves SOTA performance, demonstrating strong capability in both holistic and fine-grained scene understanding.
• Abstract（参考訳）: パノプティカル・シーングラフ生成(PSG)は、オブジェクト間の複雑な関係を包括的かつきめ細かな推論を必要とする。 しかし、PSGに適用されている現在のマルチモーダル大言語モデル(MLLM)は、固定解像度ビューによって制限された静的オブザーバとして機能する、認識ボトルネックに悩まされている。 結果として、モデルはしばしば、小さなまたは周辺オブジェクトに関する批判的な関係を見落とし、複雑な場面で曖昧な述語を区別するのに苦労する。 これらの制約に対処するため,PSGAgentは思考-行動-観察ループを通じてPSGの視覚知覚を高めるエージェントフレームワークである。 PSGAgentは、MLLMが2つのツールを使って視覚的知覚を動的に洗練することを可能にする。 意思決定を最適化するために、2段階のトレーニングパイプラインを構築します。 まず、コールドスタート学習のための堅牢な監視を提供する、高品質でエラー対応のMultimodal Chain-of-Thought(M-CoT)データセットを作成します。 そこで我々は,GSPO(Group Sequence Policy Optimization)と統合された新たな階層型報酬機構を設計し,戦略的かつ適応的なツール利用を実現する。 PSGベンチマークの大規模な実験は、PSGAgentがSOTA性能を達成し、全体的および微粒なシーン理解において強い能力を示すことを示している。

関連論文リスト

• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• GeoEyes: On-Demand Visual Focusing for Evidence-Grounded Understanding of Ultra-High-Resolution Remote Sensing Imagery [69.05066425853326]
  シンキング・ウィズ・イメージ」パラダイムは、マルチモーダルな大規模言語モデル(MLLM)がズームインツールを使って視覚的なシーンを積極的に探索することを可能にする。 これは超高分解能(UHR)リモートセンシングVQAにおいて必須であり、タスク関連キューは疎小である。 筆者らは,(1)冷間開始型SFTデータセット, UHR-CoZ(UHR-CoZ)を多種多様なズームレジームをカバーするトレーニングフレームワークであるGeoEyes,(2)エージェント強化学習手法であるAdaZoom-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-02-15T15:50:55Z)
• ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization [62.03035862528452]
  ForgeryVCRは、視覚中心推論(Visual-Centric Reasoning)を通じて、知覚できないトレースを明示的な視覚中間体に物質化するフレームワークである。 ForgeryVCRは、検出タスクとローカライゼーションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-15T11:14:47Z)
• Pair then Relation: Pair-Net for Panoptic Scene Graph Generation [54.92476119356985]
  Panoptic Scene Graph (PSG) は、ボックスの代わりにパン光学セグメンテーションを使用して、より包括的なシーングラフ表現を作成することを目的としている。 現在のPSGメソッドは性能が限られており、下流のタスクやアプリケーションを妨げる。 Pair then Relation (Pair-Net) - Pair Proposal Network (PPN) を用いて、対象と対象間の疎対関係を学習・フィルタリングする。
  論文  参考訳（メタデータ） (2023-07-17T17:58:37Z)
• Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning [126.57680291438128]
  本研究では,不整合表現によるスケーラビリティの実現について検討する。 視覚多エージェント粒子環境(VMPE)と視覚多エージェントGFootball環境における意味トラックレット'の評価を行った。 特に,この手法は視覚データのみを用いて,GFootball環境における5人のプレイヤーの戦略を学習した最初の方法である。
  論文  参考訳（メタデータ） (2021-08-06T22:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。