論文の概要: GraphPoint: Semantic Entity Graphs and Point Trajectories for Compositional Robot Manipulation

• arxiv url: http://arxiv.org/abs/2609.18358v1
• Date: Wed, 16 Sep 2026 09:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.73132
• Title: GraphPoint: Semantic Entity Graphs and Point Trajectories for Compositional Robot Manipulation
• Title（参考訳）: GraphPoint: 構成ロボット操作のための意味的エンティティグラフとポイントトラジェクトリ
• Abstract要約: ポリシーは、要求された振る舞いに応答するのではなく、固定された視覚行動マッピングを学ぶことができる。 CoManiは、両方の機能を評価するために、制御された分割を持つベンチマークです。 本稿では,意味的エンティティグラフと幾何学的制御を結合したグラフPointを提案する。
• 参考スコア（独自算出の注目度）: 18.631331284334802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robot manipulation policies often struggle to generalize beyond their demonstrations, even when new instructions involve familiar objects and behaviors. When language and scenes are strongly correlated during training, a policy can learn a fixed visual-action mapping rather than respond to the requested behavior. We investigate compositional reuse at two levels: within a subtask, combining familiar entities, action types, and action modifiers; and across subtasks, reusing learned subtasks in unseen long-horizon tasks. We introduce CoMani, a benchmark with controlled splits for evaluating both capabilities. Matched initial scenes and controlled changes to a single semantic factor encourage reliance on language rather than visual shortcuts. We further propose GraphPoint, which connects semantic entity graphs to geometric control by predicting future gripper point trajectories and converting them into actions using robot geometry. The framework organizes the gripper and objects by semantic roles and conditions their interactions on action types and modifiers, while predicted progress guides transitions during execution. Experiments and ablations on CoMani validate the effectiveness of our method for instruction-dependent generalization at both levels. Code will be released at GraphPoint.
• Abstract（参考訳）: ロボット操作ポリシーは、新しい指示が親しみやすい物体や行動にかかわる場合でも、デモ以上の一般化に苦慮することが多い。 トレーニング中に言語とシーンが強く相関している場合、ポリシーは要求された振る舞いに応答するのではなく、固定された視覚行動マッピングを学ぶことができる。 本研究では, サブタスク内での合成再利用, 親しみやすいエンティティ, アクションタイプ, アクション修飾器の組み合わせ, およびサブタスク間での学習サブタスクの再利用の2つのレベルについて検討する。 CoManiは、両方の機能を評価するために、制御された分割を持つベンチマークです。 一致した初期シーンとコントロールされた変更は、視覚的ショートカットよりも言語への依存を促進する。 さらに,将来的なグリップポイント軌跡を予測し,それらをロボット幾何学を用いて動作に変換することにより,意味的エンティティグラフと幾何学的制御を結合するグラフPointを提案する。 このフレームワークは、グリッパーとオブジェクトをセマンティックな役割と条件で構成し、その相互作用をアクションタイプと修飾子で行い、予測された進行は実行中の遷移を導く。 CoManiの実験と改善により,両レベルでの命令依存一般化の有効性が検証された。 コードはGraphPointでリリースされる。

関連論文リスト

• Inference-Time Graph Engineering for Multi-Agent LLM Workflows [51.56038180639833]
  ReActNetは、クエリとロール特化エージェントのセットを一連の有向通信グラフにコンパイルする、トレーニング不要のフレームワークである。 ReActNetは、競争的推論コストを維持しつつ、固定トポロジと学習トポロジのベースラインを一貫して改善することを示す。
  論文  参考訳（メタデータ） (2026-09-04T23:32:11Z)
• HINT: Human-Intent Inception for Long-Horizon Robot Manipulation [11.55318573740128]
  HINT(Human-INTent INcepTion)は,人間の操作原理に触発されたエージェントフレームワークである。 HINTは2つの基本方針にまたがって、意図の理解、タスクの進捗、エンドツーエンドの成功を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-09-02T14:26:30Z)
• IMBench: A Benchmark for Intuitive Robotic Manipulation [11.843368723732679]
  人間は推論と運動制御を組み合わせて、様々な制約の下で複雑な操作タスクを解く。 既存のベンチマークは、この統合を達成できない。 IMBENCHは直感的な操作を知覚、身体的推論、行動生成、反復実行にまたがる統合機能として評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-07-17T05:34:29Z)
• TriRelVLA: Triadic Relational Structure for Generalizable Embodied Manipulation [54.81449795163812]
  視覚言語アクション(VLA)モデルは、トレーニング対象のロボットタスクでうまく機能するが、見えないシーンやオブジェクトに一般化するのに苦労する。 一般化可能なエンボディ操作のための三進関係VLAフレームワークであるTriRelVLAを提案する。 実験は、微調整されたタスクにおいて強い性能を示し、クロスシーン、クロスオブジェクト、クロスタスクの一般化において明確なゲインを示す。
  論文  参考訳（メタデータ） (2026-05-07T05:57:49Z)
• Learning Semantic-Geometric Task Graph-Representations from Human Demonstrations [16.68801520494275]
  対象の同一性や対象間の関係を符号化する意味幾何学的タスクグラフ表現と,その時間的幾何学的進化を人間の実演から導入する。 意味幾何学的タスクグラフ表現は、高い動作とオブジェクトの可変性を持つタスクに特に有益であることを示す。
  論文  参考訳（メタデータ） (2026-01-16T17:35:00Z)
• Action-Sketcher: From Reasoning to Action via Visual Sketches for Long-Horizon Robotic Manipulation [37.76888706583038]
  長距離ロボット操作は、現実世界の展開においてますます重要になっている。 既存のエンドツーエンドおよび階層的なビジョン・ランゲージ・アクションポリシーは、しばしばテキストのみの手がかりに依存している。 ロボットの現在のビューに、ポイント、ボックス、矢印、型付き関係を描画する、不可解な視覚中間体であるVisual Sketchを導入する。 本稿では,サイクリックSee-Think-Sketch-Actワークフローで動作するVLAフレームワークであるAction-Sketcherを紹介する。
  論文  参考訳（メタデータ） (2026-01-04T17:53:42Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• Modeling Long-horizon Tasks as Sequential Interaction Landscapes [75.5824586200507]
  本稿では,一連のデモビデオからのみ,サブタスク間の依存関係と遷移を学習するディープラーニングネットワークを提案する。 これらのシンボルは、画像観察から直接学習し、予測できることが示される。 我々は,(1)人間によって実行されるパズル片のブロック積み重ね,(2)物体のピック・アンド・プレイスとキャビネットドアを7-DoFロボットアームで滑らせるロボット操作という,2つの長期水平作業において,我々の枠組みを評価する。
  論文  参考訳（メタデータ） (2020-06-08T18:07:18Z)
• FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding [118.32912239230272]
  FineGymは体操ビデオの上に構築された新しいアクション認識データセットだ。 アクションレベルとサブアクションレベルの両方で3レベルのセマンティック階層を持つテンポラリアノテーションを提供する。 この新たな粒度レベルは、行動認識に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-14T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。