論文の概要: KINO: A Keyframe Interface for VLM Planning and Whole-Body Control in Humanoid Loco-Manipulation

• arxiv url: http://arxiv.org/abs/2609.18869v1
• Date: Wed, 16 Sep 2026 16:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.890457
• Title: KINO: A Keyframe Interface for VLM Planning and Whole-Body Control in Humanoid Loco-Manipulation
• Title（参考訳）: キノ:ヒューマノイドロコマニピュレーションにおけるVLM計画と全身制御のためのキーボードインタフェース
• Abstract要約: ヒューマノイド・ロコ・マニピュレーション(Humanoid loco-manipulation)は、ロボットが作業指示や意味を解釈し、調整された全身の動きを実行することを必要とする。 本稿では,視覚言語モデル(VLM)計画と強化学習(RL)制御の中間表現として動作指示を用いる階層型フレームワークを提案する。 シミュレーションおよびUnitree G1ヒューマノイドにおけるオブジェクトのピックアップ,輸送,配置タスクに関するフレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 17.321484019409183
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Humanoid loco-manipulation requires robots to interpret task instructions and scene semantics while executing coordinated whole-body motions. We propose a hierarchical framework that uses motion keyframes as an intermediate representation between Vision-Language Model (VLM) planning and Reinforcement Learning (RL) control. Each keyframe specifies a target whole-body robot pose and, when applicable, an object pose. Given a language instruction, scene observations, and execution feedback, the VLM selects successive task-relevant keyframes from a predefined library. The selected keyframes are retargeted to the current scene to account for object poses and dimensions. A keyframe-conditioned whole-body policy then generates joint-level actions to reach these goals. We introduce a saliency-based keyframe sampling strategy for low-level policy training that improves end-to-end task success rate from 44% to 92% when using sparse VLM keyframes. We evaluate our framework on object pickup, transport, and placement tasks in simulation and on a Unitree G1 humanoid. The system successfully performs both one- and two-handed manipulation and generalises to placement locations beyond the training reference data.
• Abstract（参考訳）: ヒューマノイド・ロコ・マニピュレーション(Humanoid loco-manipulation)は、ロボットが作業指示やシーンセマンティクスを解釈し、調整された全身の動きを実行することを必要とする。 本稿では,視覚言語モデル(VLM)計画と強化学習(RL)制御の中間表現として,モーションキーフレームを用いる階層型フレームワークを提案する。 各キーフレームは、対象の全身ロボットのポーズを指定し、適用すれば、オブジェクトのポーズを指定します。 言語命令、シーン観察、実行フィードバックが与えられた後、VLMは事前に定義されたライブラリから連続したタスク関連キーフレームを選択する。 選択されたキーフレームは、オブジェクトのポーズと寸法を説明するために、現在のシーンに再ターゲティングされる。 キーフレーム条件付き全身ポリシーは、これらの目標を達成するための共同レベルのアクションを生成する。 疎VLMキーフレームを使用する場合、エンド・ツー・エンドのタスク成功率を44%から92%改善する、低レベルのポリシートレーニングのためのサリエンシベースのキーフレームサンプリング戦略を導入する。 シミュレーションおよびUnitree G1ヒューマノイドにおけるオブジェクトのピックアップ,トランスポート,配置タスクに関するフレームワークの評価を行った。 システムは片手操作と両手操作の両方をうまく実行し、トレーニング基準データを超える位置の配置を一般化する。

関連論文リスト

• GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation [54.305781492241785]
  本稿では,トレーニング分布を超えて一般化したビジュモータ操作ポリシーを学習するための枠組みを提案する。 GHOSTは、(i)多視点RGB-D観測から、3Dエンドエフェクタ上の分布として次のサブゴールを予測する高レベルポリシーに制御を分解する。 一連のタスクの中で、この階層的な分解は、フラットな拡散ポリシーと比較して、パフォーマンスと堅牢性を一貫して改善します。
  論文  参考訳（メタデータ） (2026-06-08T18:08:01Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• GoalVLM: VLM-driven Object Goal Navigation for Multi-Agent System [0.0]
  ゼロショットでオープンなオブジェクトナビゲーションのための協調型マルチエージェントフレームワークであるGoalVLMを提案する。 GoalVLMは、VLM(Vision-Language Model)を直接決定ループに統合し、SAM3はテキストプロンプト検出とセグメンテーション、SpaceOMは空間推論を行う。 GOAT-Bench val_unseenにおけるGoalVLMの評価を行った。
  論文  参考訳（メタデータ） (2026-03-18T18:59:33Z)
• Non-Markovian Long-Horizon Robot Manipulation via Keyframe Chaining [56.62125584296097]
  Keyframe-Chaining VLAは、キー履歴フレームを抽出し、長い水平依存関係をモデル化するフレームワークである。 本研究では,現在の実行フェーズに対する時間的関連性に基づいて,動的に履歴フレームを検索する進捗対応機構を設計する。 タスク成功率を測定するために,ManiSkillシミュレータ上に構築された4つの非マルコフ操作タスクスイートを紹介する。
  論文  参考訳（メタデータ） (2026-03-02T05:26:29Z)
• Information-Theoretic Graph Fusion with Vision-Language-Action Model for Policy Reasoning and Dual Robotic Control [22.74768543283102]
  Graph-Fused Vision-Language-Action (GF-VLA)は、デュアルアームロボットシステムがタスクレベルの推論と実行を可能にするフレームワークである。 GF-VLAはまずシャノン情報に基づく手がかりを抽出し、最も高いタスク関連性を持つ手や物体を識別する。 クロスハンド選択ポリシーは、明示的な幾何学的推論なしで最適な割り当てを推測する。
  論文  参考訳（メタデータ） (2025-08-07T12:48:09Z)
• The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
  ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。 エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。 提案手法の強い時間的推論とセグメンテーション能力について検討した。
  論文  参考訳（メタデータ） (2025-01-15T03:17:24Z)
• Keypoint Abstraction using Large Models for Object-Relative Imitation Learning [78.92043196054071]
  多様なタスクや環境にまたがる新しいオブジェクト構成やインスタンスへの一般化は、ロボット工学において重要な課題である。 キーポイントに基づく表現は、本質的なオブジェクトキャプチャ機能のための簡潔な表現として有効であることが証明されている。 本稿では,タスク関連およびクロスインスタンス整合性キーポイントの自動生成に,大規模な事前学習型視覚言語モデルを活用するフレームワークであるKALMを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:37:31Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• End-to-end Reinforcement Learning of Robotic Manipulation with Robust Keypoints Representation [7.374994747693731]
  本稿では,ロバストかつ効率的なキーポイント表現を用いて,ロボット操作タスクのためのエンドツーエンド強化学習フレームワークを提案する。 提案手法は,自己教師型オートエンコーダアーキテクチャを用いて,カメラ画像からキーポイントを状態表現として学習する。 本研究では,ロボット操作作業におけるロボット操作の有効性を,異なるシナリオで示す。
  論文  参考訳（メタデータ） (2022-02-12T09:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。