論文の概要: Seek to Segment: Active Perception for Panoramic Referring Segmentation

• arxiv url: http://arxiv.org/abs/2607.02497v1
• Date: Thu, 02 Jul 2026 17:56:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.960959
• Title: Seek to Segment: Active Perception for Panoramic Referring Segmentation
• Title（参考訳）: Seek to Segment: パノラマ参照セグメンテーションのためのアクティブパーセプション
• Abstract要約: 既存の参照セグメンテーションモデルは、固定された視点からキャプチャされた静的イメージを受動的に処理する。 能動パノラマ参照のためのメモリ拡張エージェントであるPanoSeekerを提案する。 新たに確立したAPRSベンチマーク実験により、PanoSeekerはより優れた探索効率とセグメンテーション精度を実現することが示された。
• 参考スコア（独自算出の注目度）: 76.39419654494505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing referring segmentation models passively process static images captured from fixed perspectives, limiting their applicability in Embodied AI, where agents must perform active perception in the continuous 360$^\circ$ environments. To bridge this gap, we introduce a novel task: Active Panoramic Referring Segmentation (APRS). In this setting, an agent is required to adjust its viewing direction ($Δθ, Δφ$) to explore the 360$^\circ$ environment, seeking the object specified by a user instruction for segmentation. To tackle this challenging task, we propose PanoSeeker, a memory-augmented agent for efficient APRS. Rather than relying on heuristic scanning, PanoSeeker integrates a Vision-Language Model (VLM) with EgoSphere, an explicit spatial visual memory. By progressively integrating sequential local observations into a unified 360$^\circ$ representation, EgoSphere enables the agent to plan efficient and non-redundant search trajectories. Once the target is found, the agent performs active viewpoint alignment and outputs the segmentation mask. Furthermore, we curate an expert-annotated search trajectory dataset with memory timelines for Supervised Fine-Tuning, followed by Reinforcement Learning post-training to explicitly optimize PanoSeeker's exploration efficiency. Extensive experiments on our newly established APRS benchmark demonstrate that PanoSeeker achieves superior search efficiency and segmentation accuracy, significantly outperforming adapted state-of-the-art baselines.
• Abstract（参考訳）: 既存の参照セグメンテーションモデルは、固定された視点からキャプチャされた静的イメージを受動的に処理し、エージェントが360$^\circ$環境においてアクティブな知覚をしなければならないEmbodied AIでの適用性を制限する。 このギャップを埋めるために、我々は新しいタスク、アクティブパノラマ参照セグメンテーション(APRS)を導入する。 この設定では、エージェントはその視聴方向(Δθ, Δφ$)を調整して360$^\circ$環境を探索し、セグメンテーションのためにユーザが指定したオブジェクトを探す必要がある。 この課題に対処するために,効率的なAPRSのためのメモリ拡張エージェントであるPanoSeekerを提案する。 ヒューリスティックスキャニングに頼るのではなく、PanoSeekerはVLM(Vision-Language Model)と、明示的な空間視覚メモリであるEgoSphereを統合している。 逐次的な局所観測を360$^\circ$表現に徐々に統合することにより、EgoSphereはエージェントが効率的で非冗長な探索軌跡を計画できる。 目標が見つかると、エージェントはアクティブな視点アライメントを行い、セグメンテーションマスクを出力する。 さらに,PanoSeekerの探索効率を明示的に最適化するために,教師が指定した検索トラジェクトリデータセットをスーパービジョンファインチューニングのメモリタイムラインでキュレートし,強化学習のポストトレーニングを行った。 新たに確立したAPRSベンチマークにおいて、PanoSeekerは検索効率とセグメンテーション精度を向上し、適応された最先端のベースラインを著しく上回る結果となった。

関連論文リスト

• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• Panoramic Out-of-Distribution Segmentation for Autonomous Driving [25.32165408678185]
  パノラマ・アウト・オブ・ディストリビューション(PanOoS)を導入し,包括的で安全なシーン理解を実現する。 POSはテキスト誘導の即時分布学習によりパノラマ画像の特徴に適応する。 POSは、主要なクローズドセットセグメンテーション機能を実現し、パノラマ理解の開発を進める。
  論文  参考訳（メタデータ） (2025-05-06T13:51:26Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Active Sensing with Predictive Coding and Uncertainty Minimization [0.0]
  2つの生物学的計算から着想を得たエンボディード探索のためのエンドツーエンドの手法を提案する。 まず,迷路ナビゲーションタスクによるアプローチを実演し,環境の遷移分布と空間的特徴を明らかにする。 本モデルでは,視覚シーンを効率的に分類するための探索によって,教師なし表現を構築する。
  論文  参考訳（メタデータ） (2023-07-02T21:14:49Z)
• Fully and Weakly Supervised Referring Expression Segmentation with End-to-End Learning [50.40482222266927]
  Referring Expression(RES)は、与えられた言語表現に従ってターゲットをローカライズし、セグメンテーションすることを目的としている。 そこで我々は,カーネル分割パイプラインを並列に構築し,より分離し,局所化とセグメント化のステップと相互作用する。 我々の手法は単純だが驚くほど効果的であり、完全に教師された設定と弱い設定において、従来の最先端のRES手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-17T08:29:33Z)
• Meta-RangeSeg: LiDAR Sequence Semantic Segmentation Using Multiple Feature Aggregation [21.337629798133324]
  メタランジセグと呼ばれるLiDAR配列のセマンティックセグメンテーションに対する新しいアプローチを提案する。 空間時間情報をキャプチャするために、新しい範囲残像表現を導入する。 マルチスケール機能を得るために、効率的なU-Netバックボーンが使用される。
  論文  参考訳（メタデータ） (2022-02-27T14:46:13Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。