論文の概要: ChronoGraph: Functional 4D Scene Graphs with Vision-Language Models for Interaction Understanding and Grounded Planning

• arxiv url: http://arxiv.org/abs/2609.39665v2
• Date: Sat, 03 Oct 2026 19:14:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.467666
• Title: ChronoGraph: Functional 4D Scene Graphs with Vision-Language Models for Interaction Understanding and Grounded Planning
• Title（参考訳）: クロノグラフ:視覚言語モデルを用いた機能的4次元シーングラフによる理解と接地計画の相互作用
• Abstract要約: 身体的エージェントは、どこで行動するかを決定し、結果のシーンの変化を予測し、観察された結果を解釈し、その後の行動を導く必要がある。 これは、過去のアクションがどのようにシーンを変えたかを説明する4Dインタラクションの理解と、空間的に接地された計画との接続を必要とする。 機能的な4DシーングラフであるChronoGraphを導入し、手頃な部分のアクションと意味的および幾何学的状態変化をリンクする。
• 参考スコア（独自算出の注目度）: 84.10474725065131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied agents must determine where to act, anticipate the resulting scene changes, and interpret observed outcomes to guide subsequent actions. This requires connecting 4D interaction understanding, which explains how past actions changed the scene, with spatially grounded planning, which determines how and where to act toward a goal and anticipates the resulting scene changes. We introduce ChronoGraph, a functional 4D scene graph that links actions on affordance parts to semantic and geometric state changes. By representing observed and anticipated transitions in the same form, it provides a shared basis for understanding and planning. We construct ChronoGraphBench through an automatic data engine that converts human-interaction videos and simulated robot trajectories into graph-annotated questions for training and evaluating Vision-Language Models (VLMs) on both tasks. Using these annotations, we train ChronoGraphVLM by adapting pretrained VLMs in two stages. Graph-as-Chain-of-Thought supervised fine-tuning teaches the models to reconstruct observed transitions and predict future ones as graph traces before answering. Subsequent joint 4D graph reinforcement learning directly rewards graph properties and answer correctness. Experiments across model scales show improvements over the corresponding pretrained baselines and zero-shot transfer to VLM4D. Real-world demonstrations further show that graph-based planning and affordance grounding support mobile manipulation through existing robot skills without additional fine-tuning.
• Abstract（参考訳）: 身体的エージェントは、どこで行動するかを決定し、結果のシーンの変化を予測し、観察された結果を解釈し、その後の行動を導く必要がある。 これは、過去のアクションがどのようにシーンを変えたかを説明する4Dインタラクション理解と、目標に向かってどのように、どこで行動すべきかを判断し、その結果のシーンの変化を予測する空間的基盤の計画とを結びつける必要がある。 機能的な4DシーングラフであるChronoGraphを導入し、手頃な部分のアクションと意味的および幾何学的状態変化をリンクする。 観察された、期待されたトランジションを同じ形式で表現することで、理解と計画の共通基盤を提供する。 我々は,人間のインタラクションビデオとシミュレーションロボットの軌跡をグラフ付き質問に変換する自動データエンジンによりChronoGraphBenchを構築し,両タスクにおけるビジョン・ランゲージ・モデル(VLM)のトレーニングと評価を行う。 これらのアノテーションを用いて、事前訓練されたVLMを2段階に適応させてChronoGraphVLMを訓練する。 Graph-as-Chain-of-Thoughtが監督する微調整は、観測された遷移を再構築し、答えの前にグラフトレースとして将来のものを予測するモデルを教える。 その後のジョイント4Dグラフ強化学習は、グラフ特性を直接報酬し、正解する。 モデルスケールでの実験では、トレーニング済みのベースラインに対する改善と、VLM4Dへのゼロショット転送が示されている。 実世界のデモでは、グラフベースの計画と余裕基盤が、既存のロボットスキルによるモバイル操作を、追加の微調整なしでサポートすることが示されている。

関連論文リスト

• Graph Prompting for Graph Learning Models: Recent Advances and Future Directions [75.7773954442738]
  「事前学習・適応」スキームは、まずラベルなしグラフデータに基づくグラフ学習モデルを自己教師型で事前訓練する。 グラフプロンプトは、トレーニング可能なプロンプトを学習し、事前トレーニングされたグラフ学習モデルを変更しない、有望なアプローチとして出現する。
  論文  参考訳（メタデータ） (2025-06-10T01:27:19Z)
• FDSG: Forecasting Dynamic Scene Graphs [41.18167591493808]
  本稿では,将来的なエンティティラベル,バウンディングボックス,および未観測フレームの関係を予測する新しいフレームワークを提案する。 時間アグリゲーションモジュールは、予測情報と観測情報とをクロスアテンションを介して統合することにより、予測をさらに洗練する。 Action Genomeの実験は、FDSGが動的シーングラフ生成、シーングラフ予測、シーングラフ予測において最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-06-02T09:46:22Z)
• Node-Time Conditional Prompt Learning In Dynamic Graphs [14.62182210205324]
  DYGPROMPTは動的グラフモデリングのための新しい事前学習および迅速な学習フレームワークである。 我々はノードと時間の特徴が相互に特徴付けることを認識し、下流タスクにおけるノード時間パターンの進化をモデル化するための2つの条件ネットを提案する。
  論文  参考訳（メタデータ） (2024-05-22T19:10:24Z)
• Sequential Manipulation Planning on Scene Graph [90.28117916077073]
  我々は,効率的な逐次タスク計画のための3次元シーングラフ表現であるコンタクトグラフ+(cg+)を考案する。 ゴール設定は、自然にコンタクトグラフに指定され、最適化法を用いて遺伝的アルゴリズムによって作成することができる。 次に、初期接触グラフと目標設定との間のグラフ編集距離(GED)を計算してタスクプランを簡潔化し、ロボット動作に対応するグラフ編集操作を生成する。
  論文  参考訳（メタデータ） (2022-07-10T02:01:33Z)
• (2.5+1)D Spatio-Temporal Scene Graphs for Video Question Answering [54.436179346454516]
  ビデオは基本的に、3D空間で発生するイベントの2D"ビュー"である。 ビデオ内の時間的情報の流れをよりよく捉えるために,(2.5+1)Dシーングラフ表現を提案する。
  論文  参考訳（メタデータ） (2022-02-18T15:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。