論文の概要: PreSIST: Vision-Language-Informed Object Persistence Prediction in Open-World Scenes
- arxiv url: http://arxiv.org/abs/2607.04057v1
- Date: Sat, 04 Jul 2026 23:51:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.808163
- Title: PreSIST: Vision-Language-Informed Object Persistence Prediction in Open-World Scenes
- Title（参考訳）: PreSIST: オープンワールドシーンにおけるビジョンランゲージインフォームドオブジェクトパーシステンス予測
- Abstract要約: 観測対象が任意の将来に最後に現れるポーズに残るかどうかを予測する方法であるPreSISTを提案する。
その重要な洞察は、視覚言語モデル(VLM)の推論能力は、シーンコンテキストと、おそらくオブジェクトの使用や人間の活動とを関連付けることができるということである。
我々は、VLMを用いて永続性を推定するPreSIST-Langと、PreSIST-Lang擬似ラベルを用いてトレーニングされた新しい視覚のみのモデルであるPreSIST-Visの2種類を開発した。
- 参考スコア（独自算出の注目度）: 8.404764513882041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robots deployed over long periods must reason about environments that change over time. Existing long-term perception systems often address object change reactively, updating their maps only after revisiting a scene and observing that an object has moved. Instead, robots should reason proactively about how long objects are likely to persist using the context in which they appear. For example, a car at a traffic light and a car in a parking spot share the same semantic class, but their contexts imply different persistence durations. We propose PreSIST (Predictive Scene-conditioned Instance Survival over Time), a method for predicting whether an observed object will remain in its last seen pose at arbitrary future times. PreSIST estimates instance-level persistence priors from object properties and scene context, then integrates these priors with a probabilistic persistence filter as observations become available. Its key insight is that the reasoning capabilities of vision-language models (VLMs) can relate scene context to likely object use and human activity, enabling persistence prediction before long-term observations are available. We develop two interchangeable variants: PreSIST-Lang, which estimates persistence priors using a VLM, and PreSIST-Vis, a novel vision-only model trained using PreSIST-Lang pseudo-labels for efficient deployment. Experiments on a new dataset of in-the-wild object persistence annotations show that PreSIST-Lang and PreSIST-Vis outperform baselines on open-world persistence prediction.
- Abstract（参考訳）: ロボットは長時間に渡り、時間とともに変化する環境について考える必要がある。
既存の長期認識システムは、しばしばオブジェクトの変化に反応して対処し、シーンを再考し、オブジェクトが移動したことを観察した後にのみマップを更新する。
その代わり、ロボットは、出現するコンテキストを用いて、オブジェクトがどれくらい長く持続するかを積極的に判断する必要がある。
例えば、信号機の車と駐車場の車は同じ意味クラスを共有しているが、それらのコンテキストは持続時間が異なることを示している。
PreSIST (Predictive Scene-conditioned Instance Survival over Time) は、観測対象が任意の将来に最後に現れるポーズに残るかどうかを予測する手法である。
PreSISTは、オブジェクトプロパティとシーンコンテキストからインスタンスレベルのパーシステンス先行を推定し、観測が利用可能になると、これらのプリエンスを確率的パーシステンスフィルタと統合する。
その重要な洞察は、視覚言語モデル(VLM)の推論能力は、シーンコンテキストをオブジェクトの使用や人間の活動に関連付けることができ、長期的な観察が利用可能になる前に永続的な予測を可能にすることである。
我々は、VLMを用いて永続性を推定するPreSIST-Langと、効率よくデプロイするためにPreSIST-Lang擬似ラベルを用いてトレーニングされた新しい視覚のみのモデルであるPreSIST-Visという2つの交換可能なモデルを開発した。
In-the-wildオブジェクト永続化アノテーションの新しいデータセットの実験によると、PreSIST-LangとPreSIST-Visは、オープンワールドの永続化予測に基づいてベースラインを上回ります。
関連論文リスト
- EV-WM: Event-Verified World Models for Long-Horizon Robotic Manipulation [0.815557531820863]
ロングホライゾン操作は、関係性、述語レベル、物理的に接地された進行信号を必要とする。
我々は,ワールド・モデル・プランニングのための述語型検証フレームワークである textbfEV-WM を紹介する。
論文 参考訳（メタデータ） (2026-06-11T08:35:37Z) - OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation [55.56490813640669]
VLAモデルは典型的には現在のフレームにのみ作用するが、将来の予測とオブジェクト認識推論は別々の潜在空間でしばしば学習される。
本稿では,時間的フォアシークエンスとオブジェクト認識推論を共通化することで,制約に対処するフレームワークOFlowを提案する。
提案手法は, 時間的フローマッチングを用いて将来の潜伏者を予測し, 物理的に関係のある手がかりを強調するオブジェクト認識表現に分解する。
論文 参考訳（メタデータ） (2026-04-20T06:38:01Z) - ForecastOcc: Vision-based Semantic Occupancy Forecasting [16.699381591572163]
ForecastOccは視覚に基づくセマンティック占有予測のための最初のフレームワークであり、将来の占有状況とセマンティックカテゴリーを予測する。
本フレームワークは,過去のカメラ画像から直接,外部推定地図に頼らずに,複数の地平線に対するセマンティック占有率の予測を行う。
論文 参考訳（メタデータ） (2026-02-08T15:16:06Z) - Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。
本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-10-21T07:44:44Z) - Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
我々は,過去を前提とした将来のセンサ観測の課題を探求する。
マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。
我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
論文 参考訳（メタデータ） (2024-04-17T16:56:31Z) - Object-centric Video Representation for Long-term Action Anticipation [33.115854386196126]
主な動機は、オブジェクトが人間とオブジェクトの相互作用を認識し予測するための重要な手がかりを提供することである。
我々は、視覚言語事前学習モデルを利用して、オブジェクト中心のビデオ表現を構築することを提案する。
人間と物体の相互作用を認識し予測するために、Transformerベースのニューラルアーキテクチャを用いる。
論文 参考訳（メタデータ） (2023-10-31T22:54:31Z) - Leveraging Next-Active Objects for Context-Aware Anticipation in
Egocentric Videos [31.620555223890626]
短期オブジェクト間相互作用予測(STA)の問題点について検討する。
本稿では,マルチモーダル・エンド・ツー・エンド・トランスフォーマー・ネットワークであるNAOGATを提案する。
我々のモデルは2つの異なるデータセット上で既存の手法より優れている。
論文 参考訳（メタデータ） (2023-08-16T12:07:02Z) - Predicting Future Occupancy Grids in Dynamic Environment with
Spatio-Temporal Learning [63.25627328308978]
本稿では,将来の占有予測を生成するための時間的予測ネットワークパイプラインを提案する。
現在のSOTAと比較して、我々の手法は3秒の長い水平線での占有を予測している。
我々は、さらなる研究を支援するために、nulisに基づくグリッド占有データセットを公開します。
論文 参考訳（メタデータ） (2022-05-06T13:45:32Z) - Learning Long-term Visual Dynamics with Region Proposal Interaction
Networks [75.06423516419862]
オブジェクト間およびオブジェクト環境間の相互作用を長距離にわたってキャプチャするオブジェクト表現を構築します。
単純だが効果的なオブジェクト表現のおかげで、我々の手法は先行手法よりも大幅に優れている。
論文 参考訳（メタデータ） (2020-08-05T17:48:00Z) - Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction [57.56466850377598]
視覚データに対する推論は、ロボティクスとビジョンベースのアプリケーションにとって望ましい能力である。
本稿では,歩行者の意図を推論するため,現場の異なる物体間の関係を明らかにするためのグラフ上でのフレームワークを提案する。
歩行者の意図は、通りを横切る、あるいは横断しない将来の行動として定義され、自動運転車にとって非常に重要な情報である。
論文 参考訳（メタデータ） (2020-02-20T18:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。