論文の概要: Advancing Complex Wide-Area Scene Understanding with Hierarchical Coresets Selection

• arxiv url: http://arxiv.org/abs/2507.13061v1
• Date: Thu, 17 Jul 2025 12:29:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.487879
• Title: Advancing Complex Wide-Area Scene Understanding with Hierarchical Coresets Selection
• Title（参考訳）: 階層的コアセット選択による複雑な広域シーン理解の促進
• Authors: Jingyao Wang, Yiming Chen, Lingyu Si, Changwen Zheng,
• Abstract要約: シーン理解はコンピュータビジョンにおける中核的なタスクの一つであり、画像から意味情報を抽出してオブジェクトを識別することを目的としている。 既存のヴィジュアル・ランゲージ・モデル(VLM)は、目に見えない複雑な広域シーンへの適応において課題に直面している。 本稿では,複雑な広域シーン理解におけるVLMの適応を促進するための階層型コアセット選択機構を提案する。
• 参考スコア（独自算出の注目度）: 10.810165156142563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene understanding is one of the core tasks in computer vision, aiming to extract semantic information from images to identify objects, scene categories, and their interrelationships. Although advancements in Vision-Language Models (VLMs) have driven progress in this field, existing VLMs still face challenges in adaptation to unseen complex wide-area scenes. To address the challenges, this paper proposes a Hierarchical Coresets Selection (HCS) mechanism to advance the adaptation of VLMs in complex wide-area scene understanding. It progressively refines the selected regions based on the proposed theoretically guaranteed importance function, which considers utility, representativeness, robustness, and synergy. Without requiring additional fine-tuning, HCS enables VLMs to achieve rapid understandings of unseen scenes at any scale using minimal interpretable regions while mitigating insufficient feature density. HCS is a plug-and-play method that is compatible with any VLM. Experiments demonstrate that HCS achieves superior performance and universality in various tasks.
• Abstract（参考訳）: シーン理解は、画像から意味情報を抽出し、オブジェクト、シーンカテゴリ、およびそれらの相互関係を識別することを目的とした、コンピュータビジョンにおける中核的なタスクの1つである。 VLM(Vision-Language Models)の進歩はこの分野での進歩を導いてきたが、既存のVLMは未確認の複雑な広域シーンへの適応の課題に直面している。 本稿では,複雑な広域シーン理解におけるVLMの適応を促進するための階層型コアセット選択(HCS)機構を提案する。 有効性、代表性、堅牢性、相乗効果を考慮した理論的に保証された重要度関数に基づいて、選択された領域を段階的に洗練する。 さらなる微調整を必要とせず、HCSにより、VLMは最小の解釈可能な領域を用いてどんなスケールでも見えないシーンの迅速な理解を可能とし、特徴密度の低下を軽減できる。 HCSは、どのVLMとも互換性のあるプラグアンドプレイ方式である。 実験により、HCSは様々なタスクにおいて優れた性能と普遍性を発揮することが示された。

関連論文リスト

• SeC: Advancing Complex Video Object Segmentation via Progressive Concept Construction [65.15449703659772]
  ビデオオブジェクト(VOS)はコンピュータビジョンにおける中核的なタスクであり、ターゲットオブジェクトの追跡とセグメント化をモデルに要求する。 本稿では,従来の特徴マッチングから,高レベルなオブジェクト中心表現のプログレッシブな構築と利用へ移行する概念駆動セグメンテーションフレームワークであるセグメンテーション概念(SeC)を提案する。 SeCはSAM SeCVOSよりも11.8ポイント改善され、最先端のコンセプトを意識したビデオオブジェクトセグメンテーションが新たに確立された。
  論文  参考訳（メタデータ） (2025-07-21T17:59:02Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks [24.41705039390567]
  EmbodiedVSR (Embodied Visual Space Reasoning) は動的シーングラフ誘導型Chain-of-Thought (CoT)推論を統合する新しいフレームワークである。 本手法はタスク固有の微調整なしでゼロショット空間推論を可能にする。 実験により,我々のフレームワークは,既存のMLLM法よりも精度と推論コヒーレンスにおいて優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T05:06:07Z)
• Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering [10.505845766495128]
  MLLM(Multimodal large language model)は、視覚とテキストのモダリティの統合において大きな進歩を遂げた。 マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。 RAGは、画像内のオブジェクト認識、関係識別、空間的理解を強化するために構造化されたシーングラフを導入している。
  論文  参考訳（メタデータ） (2024-12-30T13:16:08Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• LSceneLLM: Enhancing Large 3D Scene Understanding Using Adaptive Visual Preferences [70.0873383646651]
  LSceneLLMはタスク関連領域を自動的に識別する適応型フレームワークである。 濃密なトークンセレクタは、LDMの注意マップを調べて、命令入力の視覚的嗜好を特定する。 適応自己保持モジュールを利用して、粗い粒度と選択されたきめ細かい視覚情報を融合する。
  論文  参考訳（メタデータ） (2024-12-02T09:07:57Z)
• HyperSeg: Towards Universal Visual Segmentation with Large Language Model [40.326267496697845]
  本稿では,視覚的大言語モデル(VLLM)による強力な推論能力により,画像・映像知覚の普遍的セグメンテーションを実現することを目的とする。 画素レベルの画像と映像知覚のための,VLLMに基づく最初のユニバーサルセグメンテーションモデルであるHyperSegを提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:18:20Z)
• FINECAPTION: Compositional Image Captioning Focusing on Wherever You Want at Any Granularity [68.15983300711355]
  Fine CapTIONは、任意のマスクを参照入力として認識し、異なるレベルの合成画像キャプションのための高解像度画像を処理する新しいVLMである。 本研究では,多粒領域合成画像キャプションのための新しいデータセットであるコンポジションCAPを紹介し,コンポジション属性対応地域画像キャプションの課題を紹介した。
  論文  参考訳（メタデータ） (2024-11-23T02:20:32Z)
• Revisiting the Integration of Convolution and Attention for Vision Backbone [59.50256661158862]
  畳み込みとMHSA(Multi-head self-attentions)は一般的に、視覚バックボーンを構築するための代替手段であると考えられている。 そこで本研究では,MSHAとConvsを,異なる粒度レベルで並列的に使用することを提案する。 我々は,提案手法であるtextitGLMix の可能性を実証的に検証した。軽量なConvs に細粒度機能の負荷をオフロードすることで,いくつかのセマンティックスロットで MHSAs を使用するのに十分である。
  論文  参考訳（メタデータ） (2024-11-21T18:59:08Z)
• RegionGPT: Towards Region Understanding Vision Language Model [88.42271128373191]
  RegionGPT(RGPT)は、複雑な地域レベルのキャプションと理解のために設計された新しいフレームワークである。 我々は、詳細な地域レベルのキャプションを備えたトレーニングセットを充実させる、自動領域キャプションデータ生成パイプラインを開発する。 本研究では,領域レベルのタスクに対して,汎用的なRGPTモデルを効果的に適用し,性能を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-03-04T18:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。